apple 大内存相对于大显存还是有点性价比的，有点好奇，本地 ai 现在的水平能帮助完成什么任务，或者有什么好玩的吗？
我自己只用 nv 跑过一些生图的模型，还有点意思；但是 ollama 的小参数模型智力实在是不行，连玩具都称不上。
 |
1
penisulaS 2 天前
我的能跑 70b 的，但还是不够聪明，不值得一用，跑 nsfw 又太慢了
|
 |
2
fredweili 2 天前
我是拿 ollama 来做运行环境跑一下代码，生产环境还是用云端的吧
|
 |
3
usVexMownCzar 2 天前 via iPhone
hugging face 自己写程序调优，或者 comfyui
实际体验，chat 模型不错，速度也可以。但是图像模型的体验不太好，内存还是不够大🫠 |
 |
4
rich1e 2 天前
跑 ai ，内存是一方面，模型也很重要。
虽然 mac 是一体化设计，但是同等价格，跑大模型，台式机性价比更高。 如果想在大内存 mac 上跑大模型，需要通过参数优化、量化技术等才会获得较好效果。 |
 |
5
victorysl 2 天前 via iPhone
我昨天刚用 qwen 3.5 35B 在我的 M1MAX Mac 上跑本地大模型，我现在就是尝尝鲜聊聊天，不过也不知道有啥新玩法
|
 |
6
McVander 2 天前
可以用本地大模型，尝试翻译。效果还行，我用了 1 年多了
|
 |
7
cwcc 2 天前
@rich1e 我其实一直想量化一下同价格的 Mac 和 PC 之间跑大模型如果再算上电费的话，这个性价比结果会不会有变。毕竟电费并不是免费的，而想要长期使用必然会 7*24 小时开机。
|
 |
8
maojun 2 天前 via iPhone
跑 lunatranslator
|
 |
9
yukunZhan9 2 天前
想用大模型来速读一下本地的视频，不知道有没有推荐
|
|
10
yukunZhan9 2 天前
@McVander 可以支持文件翻译吗？ 翻译一下字幕啥的
|
 |
11
Chicagoake 2 天前
 跑过 20 多 b 的模型，笨得要哭。 |
 |
12
remarrexxar 2 天前
不太敢在 MAC 上常规跑模型，内存不够用的时候 mac 会用 SSD 做 SWAP 当虚拟内存，大量读写的话 SSD 扛不住吧
|
 |
13
timeyoyo 2 天前
macbook Pro m4 max 跑了个 20 多 b 的，键盘温度感觉可以烤牛肉，第一次听到 风扇转
|
|
14
McVander 2 天前
@yukunZhan9 ollama 支持本地模型的 api 调用，但是文件可能不支持，得额外去处理和定制
|
 |
15
aptandatp OP @Chicagoake 是的，小参数的效果真的太差了，和真正的大模型有云泥之别。
@remarrexxar ssd 很难跑完寿命的其实，绝大多数人的 ssd 都是暴死和跑不完擦写次数的。除非你把 ssd 放在高吞吐的服务器做 io 缓存；毕竟你个人主机大多数时间还是浏览为主，就算有缓存其实读写量也少，之前 mac 高写入量是 macosbug 现在修复了。 |
 |
16
andyzhshg 2 天前
昨天在 128G m4max 的 mac studio 上用 ollama 试了下 qwen3.5 ，35B 的那个跑的很快，122b 的也能跑，但是慢很多
不过具体的智商没有仔细看，目前还是在用云端的模型 |
 |
17
Zhuzhuchenyan 2 天前
如果想对比 Apple Silicon 的大模型推理性能
https://github.com/ggml-org/llama.cpp/discussions/4167 这里有个非常长的楼，里面由各个芯片的跑 token 速度的数据 |
 |
18
gigishy 1 天前 via iPhone
如果不是玩，而是生产力考虑，同事在 64g 内存的 Mac mini 上训练且运行了一个专用端侧模型（蒸馏），关于投资决策和风险模型。智能还可以，明显提高效率很大，且准确性越来越好。
|
Select Language