基于机密计算的 LLM 推理商

[imnotlxy]

AI 公司对用户隐私可能不太上心，经常有意或无意地爆雷。

• Grok Build 上传用户代码库： https://www.v2ex.com/t/1227071
• ZCode 仓库数据上传： https://v2ex.com/t/1243032
• Claude Code 后门： https://v2ex.com/t/1224178

这些都是 coding agent 的问题，但难保 AI 公司的推理服务能遵守其承诺。有些推理商承诺「不用客户提示词训练模型」，甚至零数据留存（ ZDR ），但用户无法监督执行情况。所以我整理了一些利用机密计算和端到端加密保证安全的推理服务商，供大家参考。

• Chutes：入驻 OpenRouter ，支持 Kimi K3 、GLM 5.2 、DeepSeek V4 0731 、Qwen 3.8 27B 等，提供 $10->$50 和 $20->$100 的套餐。
• Phala：入驻 OpenRouter ，模型比 Chutes 更全，但没有能够省钱的套餐。
• Near AI：支持 TEE 的模型比较少，能用的基本只有 GLM 5.3 Flash 、Qwen 3.8 27B 、Kimi K3 。没有套餐。这家的 Kimi K3 价格没有优势。
• PrivateMode：模型少，比起模型官方渠道有加价。
• Tinfoil：支持 Kimi K3 、GLM 5.3 、GLM 5.3 Flash 、DeepSeek V4 Flash 0731 ，比起模型官方渠道有加价。
• Venice：支持模型较多，比起模型官方渠道有加价，提供套餐但套餐的用量补贴较少。

如果接受使用开放权重模型、按量付费，可以考虑上述的推理商。Chutes 提供了套餐，不过据称服务可靠性偏低。上述提供商的端到端加密功能需要用户在本地运行 API 中转。

[r6cb]

这所谓的端到端加密也不能保证数据不会被滥用啊。模型在推理时仍然要解密，服务商想拿数据去做什么都无法通过“端到端加密”进行保护

[ltyj2003]

是的，要保密，只能离线部署。

[PersueYan]

理论上可行，实际算力消耗会大很多吧
普通加减乘除还行，最怕的是密文和明文、密文和密文比较的中间结果，会导致后面的计算量倍增（密文下所有可能性都得算）

[PopRain]

大公司都不能相信，这种二道贩子可以相信吗？

[imnotlxy]

@r6cb @ltyj2003 推理商无法看到明文，实现这一点要满足两个条件。

第一，推理相关的代码运行在「可信」的虚拟机中。运行环境的机密性由硬件保证，Intel 、NVIDIA 均提供 TEE 功能，PCIe 总线上的数据也是加密的。即便宿主机的控制权限不在用户手中，或者物理机被攻破，别人也看不到这个环境中的内容。用户可以用一些密码学的方法验证 1) 代码运行在 TEE 中； 2) 代码、模型权重与推理商公开的一致。

第二，用户会在本地运行一个 API 中转，这个中转与 TEE 之间实行端到端加密。中间的所有环节均看不到明文。

我没有可信计算相关的专业知识，以上是我自己粗浅的理解，希望指正。

[imnotlxy]

@PersueYan CPU 和 GPU 的核心内部应该不用处理密文，对它们来说加密和解密是由别的硬件（内存控制器？）透明完成的。

[Opportunity]

查了一下，都是用 TEE 来保护数据的，只要你相信 Intel/AMD/NVIDIA 的芯片、固件没有后门和漏洞，服务商确实拿不到你的数据。

[imnotlxy]

@PopRain 见 #4 。合同、信任无法消除数据被推理商看到的风险，但技术可以。我感觉这些小厂家的问题在于他们的算力没有那么多，uptime 、速度、延迟、缓存 TTL 不一定有大厂做得好。

[kongxiao00532]

百炼也有机密推理服务，算是唯一大厂了

[imnotlxy]

@kongxiao00532 可惜没法给公众提供服务