 |
klcV2EX member #16152, joined on 2012-02-01 17:05:54 +08:00Today's activity rank 10026 |
 |
Per klc's settings, the topics list is hidden |
Deals info, including closed deals, is not hidden
klc's recent replies
1h 49m ago Replied to a topic by zzutmebwd › Local LLM › pro6000 部署 Qwen 3.8 flash next nvfp4 |
@coefu 为什么要用到 1M context ？别说本地的模型，云端的 GLM 、DSV4 聊到 200k context 我都觉得开始会出点小状况（可能是掺水模型吧），差不多了我会主动压缩上下文。
Qwen3.8 27B 有 Dflash2 ，显存吃紧可以找个 Q2 的 Dflash2 。猜得比 MTP 的接受率要高，是真能加点速。
掉到 2t/s 是爆显存 offroad 了吧，模型可以用其他量化再省点 VRAM ，只要不动 kvcache 问题不大。
Qwen3.8 27B 有 Dflash2 ，显存吃紧可以找个 Q2 的 Dflash2 。猜得比 MTP 的接受率要高，是真能加点速。
掉到 2t/s 是爆显存 offroad 了吧，模型可以用其他量化再省点 VRAM ，只要不动 kvcache 问题不大。
5h 53m ago Replied to a topic by wises › 程序员 › 在自己家里搞了个本地大模型基座, 实现了应用内接入 AI 自由. |
@coefu 在云 API 规划+本地执行这个场景来说，qwen3.5 9B 真不怎么样，极限量化的 Ternary Bonsai 27B 比它要好。TB 27B 是能干活但偶尔会有问题（云 API 会复核兜底），9B 的话稍微复杂一点的操作它就干不了了，小参数模型承受不了太长的逻辑链。
现在换成 Qwen3.8 27B 就更稳了，昨晚 GLM 不小心让它直接 review 30+个文件早上一看居然也干成了，真的不可小覷。
现在换成 Qwen3.8 27B 就更稳了，昨晚 GLM 不小心让它直接 review 30+个文件早上一看居然也干成了，真的不可小覷。
Aug 29 Replied to a topic by andie › 程序员 › 想看看各位使用 Pi 的姿势 |
@coreJK 我之前用 pi-defender 在非交互式的 subagent 任务中很容易陷入死循环，就没用了。现在我的策略是 agent 改错了就让它用 pi-rewind 回滚代码。看来可以试试 pi-guardrails
Dec 21, 2025 Replied to a topic by Mohanson › 分享创造 › 新书 <Learn me a solana> 写完了, 从码字大师复归常人，评论区留下 solana 地址, 我来发纪念币庆祝一下~ |
7F87HzvqjYLsQr4h3PP1roafgvSbHZNwYe5bk8a1YxvK
感谢~~
感谢~~
Aug 1, 2025 Replied to a topic by carson8899 › Solana › $V2EX 进场第一步：交易所的注册——OKX 注册 |
7F87HzvqjYLsQr4h3PP1roafgvSbHZNwYe5bk8a1YxvK
7372------1585
感谢~~
7372------1585
感谢~~
Jun 30, 2013 Replied to a topic by qtwhat › MacBook Air › 2012 版 Air 怎么外接两个 VGA 显示器？ |
用USB VGA……
Select Language