 |
uncatV2EX 第 222542 号会员，加入于 2017-03-23 11:13:16 +08:00今日活跃度排名 9338 |
blog.jinmiaoluo.com
jinmiaoluo
jinmiaoluo
jinmiaoluo
uncat 最近回复了
23 天前 回复了 pdog18 创建的主题 › 问与答 › 本地部署 AI 的意义在哪里？涉密？ |
本地 4 块 3090 。
2 块 3090 部署的 qwen coder 2.5 q8 ，VPN 组网（ wireguard ）后，作为沉浸式翻译的翻译后端 + openwebui 后端。看论文/文档很爽。
另外 2 块 3090 部署的 qwen coder 2.5 q8 ，VPN 组网（ wireguard ）后，作为 vscode continue 的后端（体验一般）。
因为 continue 会导致 ollama 模型重新加载，所以就独立部署了 2 个 ollama 服务端（每台主机 2 张卡）。
2 块 3090 部署的 qwen coder 2.5 q8 ，VPN 组网（ wireguard ）后，作为沉浸式翻译的翻译后端 + openwebui 后端。看论文/文档很爽。
另外 2 块 3090 部署的 qwen coder 2.5 q8 ，VPN 组网（ wireguard ）后，作为 vscode continue 的后端（体验一般）。
因为 continue 会导致 ollama 模型重新加载，所以就独立部署了 2 个 ollama 服务端（每台主机 2 张卡）。
34 天前 回复了 lxnelly 创建的主题 › 宽带症候群 › 广东联通在一个楼盘内的两个独立宽带下的电脑可以 ipv4 直连吗？ |
实际测试见截图： https://blog.jinmiaoluo.com/upload/natmap-benchmark.png
PS：我是基于 NatMap + WireGuard 组网的方案（你的需求组网通过 RDP 内网互联即可解决）。
PS：我是基于 NatMap + WireGuard 组网的方案（你的需求组网通过 RDP 内网互联即可解决）。
34 天前 回复了 lxnelly 创建的主题 › 宽带症候群 › 广东联通在一个楼盘内的两个独立宽带下的电脑可以 ipv4 直连吗？ |
可以试试这个方案：买两个小米路由器刷 OpenWRT ，跟着 NatMap 的 Wiki 配置一下 NAT 打洞。
我的情况：广州移动宽带用户，没有公网 IP ，通过 NatMap 在运营商 NAT 设备上打洞，成功。
实际效果：延迟 10 ms ，瓶颈是家里移动宽带的上行速度（ 6.25 MBytes/Second)。
我的情况：广州移动宽带用户，没有公网 IP ，通过 NatMap 在运营商 NAT 设备上打洞，成功。
实际效果：延迟 10 ms ，瓶颈是家里移动宽带的上行速度（ 6.25 MBytes/Second)。
53 天前 回复了 snowkylin 创建的主题 › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
53 天前 回复了 snowkylin 创建的主题 › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
1. ollama pull deepseek-r1:671b
2. ollama show --modelfile deepseek-r1:671b | sed -e 's/^FROM.*/FROM deepseek-r1:671b/' > Modelfile
3. echo "PARAMETER num_gpu 0" >> Modelfile
4. ollama create deepseek-r1:671b-custom
第 3 步，将 0 替换为 2 （假设你是 24G 显存的显卡，实际显存除以 9 取整数商）
2. ollama show --modelfile deepseek-r1:671b | sed -e 's/^FROM.*/FROM deepseek-r1:671b/' > Modelfile
3. echo "PARAMETER num_gpu 0" >> Modelfile
4. ollama create deepseek-r1:671b-custom
第 3 步，将 0 替换为 2 （假设你是 24G 显存的显卡，实际显存除以 9 取整数商）
53 天前 回复了 snowkylin 创建的主题 › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
> 是直接 ollama run deepseek-r1:671b 这个就行吗？
先 ollama pull deepseek-r1:671b 拉下来后，保存 modefile 到本地，添加 num_gpu 参数后再重新导入即可。
参考这个： https://github.com/ollama/ollama/issues/6950#issuecomment-2373663650
@vpsvps
先 ollama pull deepseek-r1:671b 拉下来后，保存 modefile 到本地，添加 num_gpu 参数后再重新导入即可。
参考这个： https://github.com/ollama/ollama/issues/6950#issuecomment-2373663650
@vpsvps
Select Language