为啥这么多人都觉得苹果会很快上马可用度很高的本地 LLM？

[dilidilid]

安卓早就全面搭载 12G 内存高端产品搭载 24G 内存了，GPU 性能明显领先 Apple ，NPU 我没看到具体数据但应该差距也不大，苹果在 LLM 软件方面很明显并不是业界领先的，为啥很多人觉得苹果能在终端硬件上领先对手先全面部署成熟的本地 LLM 功能呢？ M1 的成功是因为苹果在此前若干年能耗比在 ARM 阵营都是一骑绝尘，吊打 x86 ，就算光论性能面对当时的 10 代 Intel 也完全不虚。现在 LLM 最核心的内存（显存），苹果并不下放；算法，苹果并不领先；移动端 SOC 能耗比和绝对性能也都不占优，WWDC 发布什么能一下子让苹果 AI 起来？

[woctordho]

因为本地 LLM 很符合苹果的风格：注重用户隐私，忽悠用户买高端硬件，而 Google 的风格正好相反

[qsnow6]

这玩意最终肯定是离线和在线并行，跟目前苹果系统的 Siri 、语音识别、OCR 引擎是一样的。

[maolon]

苹果的模型倾向就跟现在主流模型不同，
第一特别小 0.27b 0.35b 1b 和 3b 可以跑哪怕 4g 的内存里，其次他有自己的推理框架和压缩算法，这点上比安卓这边是个优势。
第二他估计是要搞 large action model ，也就是说只要能识别用户意图并操作用户手机执行操作就行了，不是我们一般意义上 all purpose 的 llm 大模型。传统功能的大模型应该他会放云端，也就是跟百度和谷歌合作那个

[digd]

大趋势是所有电脑和手机厂都在准备上线本地 LLM ，这是必然发生的。比如 Pixel 和三星要上的 gemini nano ，还有 vivo 也已经上线大模型手机，微软 AMD 英特尔也在推 AI PC ，早晚的事。

但就目前的情况而言，是 ipad pro 精神错乱离谱的产品参数让广大粉丝自我宽慰和抱团取暖

[gaobh]

国内模型开发了多长时间，号称赶超 gpt4 ，苹果不至于国内都打不过吧……

[shinecurve]

就算有了，回头一看大部分的 Mac 用户都是 8G RAM😅

[dearliuliu]

@gaobh 这领域它似乎不怎么有优势，你看 siri 那个样子

[zfyStars]

LLM 对 8G 来说还是足够用了🐶

[idlerlestat]

谷歌都打不过 gpt4 ，甚至不如一些国内模型，不知道为什么那么多人会认为苹果能

[fannheyward]

现在的 macOS 和 iOS 其实已经内置了一个裁剪版的 GPT-2 ，用于英文输入预测

- https://news.ycombinator.com/item?id=37541093
- https://jackcook.com/2023/09/08/predictive-text.html

[fredweili]

比拼 LLM 参数有意义么？现在除了问答，RAG ，画图，还有多少有意义的应用？
WWDC 有兴趣看看苹果能玩出什么花样

[c9792536451]

@fredweili #11 正确的、中肯的

[ShadowPower]

微软已经做了：

消息源称 AI Explorer 可以在后台记录用户所有的操作，例如用户当前正在查看什么应用程序、处于哪个界面，该功能都会记录和分类它看到的所有内容，并能汇总成分析内容便于后续操作。

例如用户打开 Windows 版 WhatsApp 应用程序，与朋友进行聊天对话，AI Explorer 会记录并记住屏幕上的内容，并通过 AI 梳理和总结相关内容，便于用户稍后处理。

AI Explorer 还可以通过在事中或事后询问来总结对话、电子邮件、网页和一般 UI 界面。

AI Explorer 的大部分体验都会在本地完成，不会连接到云端来处理信息。出于隐私原因，这很重要，但也出于性能原因。为了减少延迟，AI Explorer 将依靠 NPU 芯片来处理已录制的内容。

用户将能够过滤掉 AI Explorer 进程记录的特定应用程序，或者完全禁用 AI Explorer 。