V2EX › ReinXD 的所有回复 › 第 1 页 / 共 1 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

10 小时 22 分钟前

回复了 clemente 创建的主题 › 程序员 › 大家一年的 token 费用大概预估在多少钱？以后大家能接受一年多少支出在 ai 上

400 刀左右，gpt+claude 双最高级账号，不过公司能报销无所谓了

16 小时 8 分钟前

回复了 milkleeeeee 创建的主题 › Claude › Claude Max 20x 的周限真的能用满吗

fable5 用不完算我输

8 月 26 日

回复了 sentinelK 创建的主题 › Local LLM › mac m5 ultra 上线中国官网。1.2T 显存带宽， 256GB 版本 8.6 万

@mkdirmushroom 真要买得等 512g ，能满血部署 1M dpsk v4f 是质变，不然不如买块 5090 玩，1.2T/s 对 1-4 个人来说其实是很超模的带宽水平，你对比 H200 那种 4.5T/s ，这么点人数根本吃不满带宽，楼主的估计其实还保守了点，低负载下+dspark mtp 加速，我算了下理论上至少能到 100 token/s

8 月 26 日

回复了 sentinelK 创建的主题 › Local LLM › mac m5 ultra 上线中国官网。1.2T 显存带宽， 256GB 版本 8.6 万

@clemente dgx spark 显存没有 512g ，这个区别挺大的，跨越到 512g 意味着可以部署满血 1M 版本的 dpsk v4f ，而且 m5 ultra 带宽 1.2TB/s 也是吊打 dgx ，大模型计算核心耗时其实都是权重搬运，这个对实际使用提升应该是非常巨大的。总的来说，和 dgx 完全不是同级别的硬件，dgx spark 还是有点不上不下，m5 ultra 已经摸到云端服务器水平了，考虑到个人/小团队使用甚至非常超模，部署的好很有可能比用官方 api 的体验还舒服

8 月 26 日

回复了 LBSeven 创建的主题 › 程序员 › 现在有必要去学高代码的智能体开发么

学得快有，现在还是能淘金的；如果你指望一碗饭吃好几年那就是没有，harness 这层最终的结局会被模型吃到只剩下基础的文字描述的工作流

8 月 26 日

回复了 mixuxin 创建的主题 › 程序员 › Agent 开发时代，你们还在做 Code Rview 吗？

ai 写，ai review

8 月 26 日

回复了 sentinelK 创建的主题 › Local LLM › mac m5 ultra 上线中国官网。1.2T 显存带宽， 256GB 版本 8.6 万

这个价格对比 n 卡服务器，甚至可以说性价比爆表，统一内存的架构优势在 LLM 时代凸显出来了

8 月 14 日

回复了 wktline 创建的主题 › 程序员 › GLM5.3 来了，有真实订阅智谱官网的小伙伴吗，速度怎么样

@NizumaEiji 基本大厂内部编程代码 agent 都是 glm ，用户会用脚投票的

8 月 14 日

回复了 Rorysky 创建的主题 › 程序员 › 不明白为什么很多人用「缓存命中率」作为 agent 的性能评估参数

@Retas 这里有个关键问题是如果模型 sft 的训练数据没有针对性优化，这样的操作是会下降模型性能的

8 月 14 日

回复了 Rorysky 创建的主题 › 程序员 › 不明白为什么很多人用「缓存命中率」作为 agent 的性能评估参数

dpsk 应该是把 system prompt 直接放到每次请求的开头了，这样每次增长的计算实际上只有用户新发的请求，剩下全部可以 prefix cache hit ，导致最后命中率 99%，其实没那么多魔法，不过 dpsk 应该这次在训练 sft 的阶段就对这种 prompt 方式进行优化了