V2EX › fid 的所有回复 › 第 1 页 / 共 3 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3

❮

❯

22 天前

回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助

@Les1ie @mythabc @Leon6868 当前配置还有必要优化吗

22 天前

回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助

@mythabc 4 卡应该不太够用，可以看看最新 append

22 天前

回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助

@kennylam777
@lixile
可以查看最新 append

22 天前

回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助

@fid #35

@lixile #32
更正，8x4090 单张 78-90%占用

22 天前

回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助

@kennylam777 #33 目前方案是 8x4090+Qwen2.5-72B-Instruct-AWQ+lmdeploy ，体验良好，占用低

22 天前

回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助

@lixile #32 8 卡同时跑大概每张卡占用 20-30%，占用率还是非常低的，使用的是 awq int4 ，使用体验很顺滑

23 天前

回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助

@liu731 显卡内存 8x24g ，正文写了的

23 天前

回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助

@wantstark #18 我是一台机器多卡，暂时没有分布式条件，可能没有表述清楚

23 天前

回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助

@Les1ie #20
1. q4km 量化多卡不太合适，目前尝试 72B awq 量化+LMdeploy ，参数级提升应该大于精度提升
2. 我协调一下显卡使用，应该能合理分配，毕竟多卡通信存在速度损失
3. qwen2.5 优于 deepseek 吧
4. 本地部署必要，100%无法联网，4o 还是太成熟了

23 天前

回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助

@woscaizi #19 好的，感谢推荐！

23 天前

回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助

@DreamingCTW #17 ollama 多卡不太行吧

23 天前

回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助

@oldfans #15
ollama 确实不适合多卡。

目前方案是 LMdeploy ，比 vllm 好

我去用 72B 了哈哈

还是大参数量好，充分利用 gpu

23 天前

回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助

@kenvix #14 多谢！这就去上 72B