V2EX › neteroster 的所有回复 › 第 1 页 / 共 39 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8 9 10 ... 39

❮

❯

6 天前

回复了 moudy 创建的主题 › Apple › Mac Studio 实战 671B 全量大模型成绩出来了

@wclebb

https://github.com/kvcache-ai/ktransformers/blob/main/doc/en/DeepseekR1_V3_tutorial.md

0.3-preview, 6454S×2, 4090D, D5-4800

pp~250, tg~12 ，我没记错的话这个 pp 远超 m3u ，tg 差些

更好的硬件：
https://zhuanlan.zhihu.com/p/30079534043

8 天前

回复了 NianBroken 创建的主题 › 问与答 › 可以画涩图的非本地 AI 有哪些？

novelai

8 天前

回复了 886106 创建的主题 › Apple › Studio M4max 128G 是否合适跑大模型

［同时］满足下面几个要求的情况下有优势：
1. bs=1 （不并发）
2. 轻 prefill 负载（仅类似 chatbot 任务，没有 rag 这样的工况）
3. 静音与便携
4. 需要跑较大的模型（很慢但能跑）

---

一旦你要并发或者重 prefill 任务就会原地爆炸，被多消费卡方案杀出几十上百倍的吞吐都不是不可能的。就算你不考虑吞吐只是单线程，也只有跑 MoE 的时候有比较显著的性价比优势，可惜这 128G 左右也没啥合适的 MoE 。

综合意见就是，大体上优势只有功耗静音。Ultra 的话能装下 R1 还有点看头，Max 除了功耗这些外围的基本可以说没什么跑 LLM 的优势。

11 天前

回复了 ayang23 创建的主题 › 分享发现 › 这道数学题能让目前所有 AI 原地爆炸

@wulili 每个周期内水位是先升后降的，19.6 小时处的那个尖峰其实已经注满了，19.6 是考虑了这一点下的结果。你直接忽略内部过程按周期看就是不一样的，但是你不能说 19.6 是错的

11 天前

回复了 ayang23 创建的主题 › 分享发现 › 这道数学题能让目前所有 AI 原地爆炸

o3-mini-high (api): 19 小时 36 分钟。

promptTokens=126, completionTokens=4342, 总时间=32s, tps=136

11 天前

回复了 9527kf 创建的主题 › 机器学习 › 求助，有没有视觉大模型可以识别一个 UI 设计图中各个模块的划分

给张例图

11 天前

回复了 shuiguomayi 创建的主题 › 问与答 › 3000 元以内最强半高刀卡显卡推荐？

半高刀卡限制太严格了，技嘉有张 4060 Low Profile ，不过 8G 跑 14B 还是太勉强了

14 天前

回复了 fengc 创建的主题 › 问与答 › Windows11 内存占 48%，但是启动一些应用总是报错、崩溃，请问大家这是为什么，该如何分析问题

跑 memtest ，大概率内存本身就有问题

18 天前

回复了 atao777 创建的主题 › 计算机 › diy 主机： itx 值得选择吗？

能不装不装，ITX 箱子装起来非常麻烦，没注意很容易这儿冲突那冲突，安装操作起来也很困难。如果实在要装也建议考虑大点的紧凑机箱，比如闪鳞 G300/400/500 这种 10-20L 的，硬件兼容性也会好很多。

最近装了台 G300 + ITX 板 + ATX 电源 + 4070 ，这个大小的机箱都不怎么好处理了。另外装极限小机箱或者紧凑机箱可以考虑 MoDT CPU ，7945HX 或者 Intel 对位的，能效比好很多，紧凑机箱散热比较紧张，散热多给显卡留些。

21 天前

回复了 klo424 创建的主题 › Local LLM › 求 DeepSeekR1 性价比硬件推荐

只有 671B 是“真正的” R1 ，其他蒸馏版本都没有跑过本体的训练管线，其实不能叫 R1

22 天前

回复了 drymonfidelia 创建的主题 › 程序员 › 有没有哪个 LLM 日翻中能支持无术语表不翻译人名的？我测试 SakuraLLM 32B 没术语表同一篇文章里面一个人名能翻译出 6 个版本，严重影响阅读，不如不翻译人名

你可能需要： https://github.com/neavo/KeywordGacha

27 天前

回复了 crac 创建的主题 › 前端开发 › vue 开发 AI chat 的 ui， markdown、数学公式渲染用什么库

@neteroster
KaTeX: https://katex.org/docs/autorender
MathJax: https://docs.mathjax.org/en/latest/input/tex/delimiters.html

27 天前

回复了 crac 创建的主题 › 前端开发 › vue 开发 AI chat 的 ui， markdown、数学公式渲染用什么库

MathJax / KaTeX

\( ... \) 和 \[ ... \] 也是 LaTeX 的标准公式语法。mathjax / katex 都可以配置分界符正确渲染它们。

27 天前

回复了 mingtdlb 创建的主题 › 问与答 › AI 有和没有深度思考联网搜索区别？

deepseek r1 和 openai o* 的所谓深度思考是强化学习训练得到的思维链，已经被证明能够大幅提高数学和复杂推理的能力，其他领域的泛化能力有待进一步观察。

联网要看具体实现方法，一般来说对事实性问答以及时效性消息问答会有显著提升。不过也有可能受不可靠消息源误导。

37 天前

回复了 zhuwd 创建的主题 › NVIDIA › NVLink 对显卡集群的影响有多大？

1. 都用这些设备了不用 sglang 跑去用 ollama 这种干啥
2. 没多大并发占用当然不会高，bs=1 decode 是显存带宽瓶颈。

39 天前

回复了 meeop 创建的主题 › 奇思妙想 › 一个想法，使用大模型作为数据库的极简服务模型

> 数据和状态变更喂给大模型，作为增量训练数据更新大模型来实现

持续学习某种程度上是机器学习和 LLM 领域的“圣杯”，目前研究距离这个目标还远的很。除去成本因素还有一些更本质的问题，例如[灾难性遗忘]( https://arxiv.org/abs/2308.08747)。

另外，目前的大模型没法直接从预训练文本泛化到各种任务，例如通用 QA 。例如你预训练代码库，不做其他处理的情况下模型根本没法回答/检索关于这个代码库的问题。这些都是要靠数据管线做的，甚至还需要很多“智能工人”。

1 2 3 4 5 6 7 8 9 10 ... 39

❮

❯