预算 1w 左右,求一个可以本地搭建 ai 的配置

[jianghu52]

现在用的台式机是 17 年配的,连 win11 都生不上去. 现在想换代了,想配一台电脑,可以本地搭建 ai. 要求如下: 1.只台式机本身,音响,显示器不需要 2.不需要考虑未来扩展,一个配置 5 年能用就行. 3.本地 ai 不仅要能跑,还需要能用.所以显卡最低不能少于 8g.

另外,还想请教各位,我现在在使用飞书的会议的字幕功能,以及生成总结功能,非常好用. 但是一个月 120 比较贵.如果我配了本地 ai 的话,要实现飞书这样的功能,可能么.

[gaobh]

至少一张 4090 满血版，其他主板啥的自己看着配，能带起来就行

[gaobh]

配完只能说能用，但跑起来不好用，要好用组个 4 ，5 张试试

[RicardoY]

二手 mac studio ，用来跑大模型性价比极高的选择

[RicardoY]

64G 内存的版本可以本地跑 70b 的模型

[GeekGao]

1w 不够，再往上一些。 个人使用，如果使用频率不高的话，本地搭建的成本太高了，还要考虑电费、噪音。

[lookStupiToForce]

歪路子两个：
1.如果只求跑模型，作图或者 LLM ，有些便宜到可疑的专跑模型的 GPU 选择
不求模型的推理速度快，只求能装进 vram 而不是 load 到内存让 CPU 去跑
可选 GPU：
nvidia a2000 12G ，新卡软妹币 3500 左右
nvidia tesla m40/m60/p40...软妹币 500~1500 上下

除了 a2000 丽台还在产，后面的卡市场上鱼龙混杂，基本只能买到拆机卡或者矿卡，而且注意它们还没有视频输出口（ a2000 有 minidp 口）

这些基本只能跑 ai ，不能拿来玩游戏，tesla 卡你还得备上大电源，再拿着专门的风扇/空调对着吹来压温度
反正价格低带来的是往死里折腾

2. 好 U 配大内存（ 64G+ ram ），配张单卡 4060/4070ti 够用就行
因为就算是 llama3.1 70b 这种 39 个 G 的大模型，不降模型精度，单卡就算是 4090 照样不够用，堪称 a100 （软妹币 8W+）之下众生平等（但如果要双显卡，就还是上面 1.的话题了）
而模型一旦 load 一部分到内存，推理时 GPU 的闲置时间百分比直线上升，瓶颈都跑到 CPU 去了。
我之前测试过，llama3.1 70b 原始精度，在 64GB ddr4 3200MHz 内存加持下，cpu 11700K 可以跑出每秒 1.1 个左右的 token ，将就凑合玩儿。所以如果 CPU 好一些，甚至你上双 u 主板/服务器主板让更多的 u 一起跑，那么这种 70b 乃至更大一点的模型也能用（ 3+token/s ）。关键就是，内存要管够

[Admstor]

二手苹果 M 系列芯片，不开玩笑

[mmdsun]

双显卡机箱，插两张显卡。 大内存。

[JensenQian]

本地生成字幕的话挺简单的
whisper ，我 6800H 的核显都能用
总结的话你丢给 chatgpt 总结不就好了，反正都是文字

[jianghu52]

@JensenQian 我之前也用过 whisper,我只会下载音频下来,然后再传上去.而且不能太大.要分割视频.
据说有本地版的,但是只是提供 api.外面的壳子还是要自己来.而且还是有大小限制.感觉不是很实用.

[JensenQian]

@jianghu52 #10 https://github.com/Const-me/Whisper
这个
用黄老板的显卡超级快的

[hiceo]

可以参考下这个文章，由多个 mac mini 组成的配置
https://www.53ai.com/news/LargeLanguageModel/2024070296570.html