升级 m2 的内存稳定吗？

[waino]

最近想本地折腾下 llama3:70b ，发现 32g 不够用。

问问各位大佬：

1. 升级内存，是不是能解决？

2. 升级内存靠谱吗？比如找个维修店

3. 能的话现在什么行情？ 32=》 64=》 128

[icestraw]

是能解决

不靠谱，升不了

没有行情，也可以理解为比置换更贵

只能卖了再买

[deplives]

Apple silicon 怎么升级内存？连 cpu 一起换？

[InternetExplorer]

内存不是和 CPU 长在一起的么，要升级只能换个主板吧

[imnpc]

运行内存换不了的

[waino]

@deplives
@InternetExplorer 不知道呀，看有视频直接可以重焊内存颗粒上去

[lrigi]

不能跑不如买个 poe 之类的。等你真的能运行了 70b 可能会发现速度好慢，还不如运行 8b 的舒服

[wxw752]

那都是 inter 的老机型，才能换内存颗粒

[xcnick]

32G 内存本地可以跑 Qwen1.5-32B 模型，这个模型是 30B 规模下中文最优秀的模型之一

[xayoung]

m 系列升不了的。目前能升的唯一方法是 cpu 和内存一起换，这样成本就非常高了。退一万步来说，即使能单独升你也敢升？内存和 cpu 连在一起的，风险非常高。

[GeekGuru]

卖了再买最划算。。

[zhwq]

4bit 或 8bit 量化之后效果可能还不如 8G 的

[Phariel]

70B? 你想换多大的内存？ 128G 也不够吧 你除非要跑很重的 quantized 版本 你本地能跑个 13B 已经可以了

[crokily]

@xcnick 请问这个有什么测试的榜单吗，我一直很好奇 hugging face 上的中文化 llama3 和 qwen 哪个效果更好

[bzw875]

苹果 M2 芯片的内存是和 CPU 焊接在一起，个人理论上换不了，台积电有能力换

[xcnick]

@crokily 大模型的榜单仅作为参考，不能作为评判的唯一标准。对于中文任务来说，国产大模型比汉化 llama 有先天优势，训练数据集中中文的比重更大

[kuaner]

m2 max 无头骑士

[7lQM1uTy635LOmbu]

@waino #5 原理上可以换，有人成功过，但报废率太高，量产不了

[pelloz]

别折腾自己的小本子了，搞个服务器，或者工作站，甚至就简单配一个主机，内存随便你加，便宜得很

[waino]

@pelloz 攒个机大概多少预算，比如能运行 llama3:70b 这类大模型

[waino]

听劝不在现在机子上折腾了

[beginor]

64G 的 M1 Max 也要将显存调整到 56G 才勉强跑的起来 70b 参数的模型， 一秒钟大概一个 token ，还是老老实实跑 32b 左右的模型吧， 一秒钟 2~3 个 token ，自己玩一下还可以。

折腾 70b 以上的纯属虐待自己的 Mac 。

[jimrok]

M 芯片采用了统一内存，封装的方式是直接把内存芯片和处理器芯片在微孔上连接在一起，chiplet 方式，是不能升级的。

[dilidilid]

卖了再买，别折腾了。大模型为啥不用现成的商业服务非要本地呢，又不搞大模型开发，搞不懂你们

[crokily]

@xcnick 在文本编辑上试用了一下，确实在中文条件下 qwen 更好，汉化的 llama 在中英混杂的情况下，哪怕提示词是中文的，也很容易生成纯英的回答或者是纯中文的回答（例如要生成一句带中文解释的英文例句就不行）。而用 qwen 就能生成出正常的中英混杂文本，哪怕 prompt 是英文的也能正常生成中文回答。

[littlewing]

M 芯片不支持升级内存，集成在 SOC 里