关于 Apple 扫描儿童色情照片的技术讨论

[minsheng]

这两天看了无数人讨论 Apple 的 CSAM，感觉大家说的话都互相冲突，也没有人讨论 Apple 所谓的本地扫描的具体实现，有点难受。于是我自己相对认真的读了一下 Apple 发布的技术总结。这里简单分享一下我的理解，欢迎做纯技术讨论。

首先，Apple 非常明确，它做的是图片匹配，不是图片识别。图片的来源是第三方 NGO 机构，但它们仅提供图片，不存在提供神经网络模型的地方。Apple 希望自己的系统实现以下几点：

• 不匹配的用户图片，Apple 的系统完全无法接触；
• 匹配的用户图片，只有等匹配数达到一定阈值，Apple 才可以接触；
• 用户无法访问 CSAM 图片数据库（要不然就不用自己找了）；
• 用户无法了解自己的哪张图片被标记为潜在的儿童色情照片。

我个人把系统理解成三个部分：

• 一套 Apple 称之为 NeuralHash 的系统，用来回答两张图片是否匹配；
• 本地的图片 voucher 生成系统；
• iCloud 服务器上的 voucher 处理系统。

本地的 voucher 生成系统确保了用户既无法访问 CSAM 图片数据库，也不知道自己的哪张图片被标记了。后者则从数学上确保了 Apple 无法访问不匹配的用户图片。更重要的是，即使误伤了，也需要误伤足够多的次数，Apple 才可以解开匹配的图片。这里分别用了「 private set intersection 」和「 threshold secret sharing 」这两项技术。

NeuralHash

NeuralHash 是 neural + hash 两个部分组成。Apple 训练了一个 CNN 网络，输入图像，输出一个图像的向量表示。这个 CNN 的目的是，让相近的图片映射到相近的表示上去。紧接着，Apple 使用称之为 hyperplane locality-sensitive hashing (LSH) 的技术对生成的向量表示进行处理。

我完全没听过 LSH 这个概念，根据维基百科的描述，LSH 把近似的输入放到同一个 bucket 里面；与软件开发日常接触的 hash 相比，普通的 hash 尽可能避免碰撞，而 LSH 从某种意义上最大化了碰撞。感觉这是一种对数据集做聚类的办法。

Apple 用 NeuralHash 想解决的一个问题是优化空间。把几十万张色情图片存到每个人的手机里显然是不可能的；即使通过 CNN 提取特征向量，结果也很大，但是得到的特征向量再进一步 hash，Apple 实现了可以给每一部设备上放下完整的 CSAM 数据集。

Apple 还简单描述了一下 CNN 的训练，是一个很简单的无监督学习，即给网络一对图片，输出两张图片的差。一方面，Apple 会从一张图片生成一个篡改过但视觉相等的图片，让网络输出的差尽可能小；另一方面，将两张不同的图片放在一起，让网络输出的差尽可能大。后者很有必要，不然网络可能会给任何一对图片都输出零，这样就没有意义了。

Hyperplane LSH 跟图片没啥关系，它的任务就是对图片的特征向量做压缩，并满足让相近的两个向量输出的结果相同。

Private Set Intersection

但其实 NeuralHash 只是解决了图片匹配的问题。真正体系 Apple 这套系统对隐私的保护的是 Private Set Intersection (PSI) 和 Threshold Secret Share 。没有人关心，但非常有趣，所以我就简单说一下。

首先，Apple 需要对每张图片生成一定的额外信息（ payload ），这些信息的具体设计会在后面提及，而它们的目的，则是在发现某个用户匹配足够多的图片的时候，帮助 Apple 读取相应的图片，人工审核。PSI 的设计是，当且仅当某张用户的图片 NeuralHash 等于 CSAM 数据库里的某张图片的 NeuralHash 时，对应的 payload 才会被解开。因此，这个问题也就变成了根据 NeuralHash，构造一个密钥，用来加密 payload 。如果这个密钥能成功解密 payload，那么这个 payload 所属的图片，必然匹配该 NeuralHash 对应的图片。若解密失败，则该 payload 的原始图片不是我们想要的图片，且因为 payload 无法被解开，用户信息也不会被泄漏。

这里的点主要在于：

• 用户图片的 NeuralHash 不能发给 Apple，不然 Apple 可以解开任何照片；
• CSAM 数据库里的原始图片的 NeuralHash 不能发到用户设备上，不然用户设备就可以提前得知图片匹配结果，而 Apple 的设计原则明确不希望这一点。

Apple 的实现思路是这样的：

• 对 NeuralHash 本身进行传统 hash，相当于每个 NeuralHash 赋予一个 ID 。这个 hash 函数本身，iCloud 和用户设备都知道，因此用户可以在本地执行相同的 hash 。
• 对 CSAM 数据库里的 NeuralHash 进行加密（ blinding ）。将 ID 以及 blinding 过的 NeuralHash 作为数据库发到用户设备上。
• 上传图片的时候，会先计算该图片的 NeuralHash 、NeuralHash 的 ID （通过 hash ）、图片的 payload，然后按照用户数据库里的 blinded NeuralHash 和图片的 NeuralHash，计算一个加密密钥，加密 payload，并将 ID 和 payload 上传给 iCloud 。
• 注意，该图片的 ID 匹配用户数据库里的条目有两种情况，正确匹配和 hash 碰撞。

在 iCloud 服务器上，服务器可以重做这一步。首先，根据用户上传的 ID 和 payload，拿到图片的 NeuralHash 。然后，用 blinded NeuralHash 和该图片的 NeuralHash 计算密钥，并解密 payload 。如果用户的图片确实对应了 CSAM 数据库里的图片，那么 payload 可以正确解密；若只是 hash 碰撞，解密会失败，匹配失败，用户的 payload 隐私得到了保护。

Apple 并没有讨论如果用户的图片的 NeuralHash 的 ID 不匹配数据库里的任意条目的情况。这种情况说明该图片肯定不在 CSAM 中，但是这会提前暴露用户匹配结果。我估计 Apple 的做法是通过调整 hash，是 ID 空间变小，并对不存在的条目，生成假的 blinded NeuralHash，一并发给用户。在服务器上只需要检测 ID，如果来自假的条目，则直接匹配失败，且用户设备不知道这一点。

Threshold Secret Sharing

这个系统的具体算法 Apple 一笔带过。我问了了解相关领域的同学，发现其实是一个非常基本的技术。其解决的问题 Apple 也大概描述了一下：

• 我们把秘密分成一千份，并设置一个阈值为十。
• 从这一千份里任意掏出十份数据，都无法还原原始秘密。
• 但拿到了十一份数据，就可以知道原始秘密了。

举个例子，比如说你有一个一元二次多项式 P(x) = ax^2 + bx + s，s 就是你要保守的秘密，有四个人，你可以告诉每个人 P(1)、P(2)、P(3)、P(4) 分别是多少。每个人都可以化简自己的等式：

• P(1) = a + b + s
• P(2) = 4a + 2b + s
• P(3) = 9a + 3b + s
• P(4) = 16a + 3b + s

当我们只知道一个或者两个人的数字的时候，是无法解密的，但比如说我们知道 P(1)、P(2)、P(3) 均是 0 的时候，就很容易解出 s = 0 。

简单来说，Apple 做了一个双重加密系统。首先，Apple 给每个账号生成一个密钥，只存在用户设备里。然后，Apple 用这个密钥加密每张图片的 payload，并且将加密的结果和这个密钥的一部分（ secret share ），一起用 NeuralHash 导出的密钥进行加密。

首先，如果一张图片压根没有匹配 CSAM 数据集，那么 Apple 将无法获得用户密钥的任何 share 。只有等匹配了之后，Apple 才能拿到一个 share 。当拿到的 share 数目超过一个阈值之后，Apple 才能用这些信息构建出用户密钥，解密图片的 payload 。即使在这个时候，也只有匹配的图片的 payload 可以被解开，因为其它图片的数据被 NeuralHash 衍生的密钥保护着。

Apple 还提到用户设备会随机生成假的 voucher 。这些 voucher 在 iCloud 中会通过第一层匹配，但是其 payload 并不会包含任何有意义的信息，无法解开第二层的密钥。通过调参，这些生成的 voucher 的数目会和匹配的图片的数目处于同一数量级，这样，在解开第二层密钥之前，Apple 就无法准确判断一个用户究竟有多少图片已经匹配，最大程度保护用户隐私。不过这一段的具体思路我没有特别看懂。

欢迎大家讨论。

[minsheng]

原来 V2EX 居然还有内容审查系统，本来加了几段评论不得不删除了……

[miku831]

已经有一个讨论帖了，在水火里呢，你这个快了

[hrbwaxdoll]

终于见到理性分析的了，那些看都不看原理就喷的，简直撒比。

[xtx]

果然偏技术向的回帖就比较少，大家都爱打嘴炮。

[kop1989]

说一千道一万，hash 验证模型是苹果定的。
它可以说这个哈希模型是儿童色情，但你并不能验证。

换句话说，他也可以训练一个身份证模型，裸体模型，文件模型等等。

一把枪，上面有再多的锁，只要在人的手里，他就依然是武器。

[minsheng]

@kop1989 苹果并没有训练一个图片识别模型，这是一个非常单纯的图片匹配系统。

[kera0a]

有没有课代表一句话总结下

[levelworm]

总体来说我不希望苹果做我的警察，管他什么算法不关心。

[Mitt]

@minsheng #6 他的意思是 CSAM 不管是 hash 匹配还是什么，苹果无论技术上保证多么安全和隐私，都不可避免的短板在源头 CSAM，如果 CSAM 提供给苹果一个非儿童色情的而是政治图片等，那么一样适用于触发人工审核解密图片，而且还可能会出现算法漏洞制作一张可以使一些不沾边的照片比如聊天内容截图被恶意匹配等，短板其实一直都在苹果人工和 CASAM 上，并不是技术能力上，如果那俩短板消失不存在，那么即便没有这个技术也同样可以保证用户隐私安全

[hello2066]

@Mitt 检测到苹果就报警 fbi 直接上门抓人关牢里？要上法院吗？要看手机里到底是哪张照片吗？

[hello2066]

@Mitt 这么一想，被苹果误促警能上个头条吧，赔偿个几百万美金应该没问题吧

[levn]

它能帮助我们判断拜登的成分吗

[hello2066]

@kera0a 一句话就是，你苹果说的再好听，我不信。

[kera0a]

@hello2066
不信苹果不买就是了，要喷苹果就去另外几个帖子里喷吧

我看楼主技术贴写的很认真，想看看懂行的人怎么评价，能不能挑出漏洞，不想情绪讨论。

[minsheng]

@hello2066 这种思路就很迷。当然人可以选择不听，代码是苹果写的，苹果编译的，苹果发布的。理论上说苹果想推什么代码都行，iMessage 完全可以偷偷上传私钥，FBI 完全可能一边连根网线进苹果数据中心，一边和苹果演苦肉计。这都是有可能的，而且这一切不管苹果有没有做这套 CSAM 系统都有可能发生。

如果真的担心，且有必要担心，自然可以做出相应的决策，比如说云上贵州（美国法律可不保护中国公民不受 CIA 大规模筛查）。大家自行根据自己的屁股决定用不用 iPhone 、怎么用 iPhone 就好。

[ruixue]

最新的消息，苹果就其新的儿童安全功能与记者举行了问答会，并表示愿意在未来将这些功能扩展到第三方应用程序。

https://www.macrumors.com/2021/08/09/apple-child-safety-features-third-party-apps/

“Apple 表示，虽然今天没有任何公告可以分享，但将儿童安全功能扩展到第三方，以便用户得到更广泛的保护将是一个理想的目标。Apple 没有提供任何具体示例，但一种可能性是将通信安全功能用于 Snapchat 、Instagram 或 WhatsApp 等应用程序，以模糊儿童收到的色情照片。

另一种可能性是，苹果已知的 CSAM 检测系统可以扩展到第三方应用程序，这些应用程序将照片上传到 iCloud 照片以外的其他地方。

Apple 没有提供何时能将儿童安全功能扩展到第三方的时间表，并指出它仍然需要完成这些功能的测试和部署，该公司还表示需要确保任何潜在的扩展不会破坏这些功能的隐私性或有效性。

从广义上讲，Apple 表示将功能扩展到第三方是该公司的通常做法，自从 2008 年在 iPhone OS 2 上推出 App Store 以来，它就引入了对第三方应用程序的支持。”

[felixcode]

方案是不是安全，不是得开源供外界审查吗？

[minsheng]

我个人的看法：我更关心商业公司会不会拿我的数据压榨我，以及黑客会不会拿我的数据敲诈勒索。

Apple 很好的处理了前者。而对于后者，Apple 作为一个把隐私挂在嘴边的公司，它有数据保护的意识，因此它的系统设计应该会让商业公司无意泄漏用户数据的情况变少。

同时，作为对立的一面，Apple 软件质量不好，比如说可能不如谷歌，会增加使用 Apple 系统泄露隐私的风险。

权衡利弊之下，我依然相信 Apple 能满足我对隐私的需求，并选择它的产品。至于每个人，都需要想清楚自己的需求。有必要的话，就学 Richard Stallman 好了。

[minsheng]

@felixcode 是的，所以说如果我是恐怖分子，我肯定不会用 iMessage 。

[tmado]

从标题到主题帖的内容都比较明显地表达了楼主期待的讨论方向，即主题中第一段最后的“欢迎做纯技术讨论”。

不过直到我回复为止的前 18 个回复基本没有人在做“纯技术讨论，甚至都不见得有多少“技术讨论”，也基本没人关心楼主的在主题中谈论的思路。也没人关心楼主在主题中提的问题。

希望论坛的管理能尽快提供账户注销的功能。

[oIMOo]

我比较好奇：虽然 hash value 极小，但是千千万万个 hash value 就不可忽视了啊。那对手机储存的影响如何解决？

[minsheng]

@oIMOo 如果能做到几十字节那几十万张图的话应该不到 100M ？ CNN 特征向量假设 512 字节，压缩个十倍也许还是可以做到的。

我之前看有人分析 iOS 系统大小，里面关于神经网络的越来越大了，还好存储空间长得也快。

我比较好奇的有两点，一个是如何动态的增加这个图库。现有的照片是不是还要再扫描一遍？二就是对 NeuralHash 的 hash 要如何设计，才能保证图片之间没有碰撞且尽可能稠密分布？或许 CSAM 本身可以分成几十份，但这样的话匹配的加密操作就要跑几十次了……

[jjxtrotter]

@kop1989 苹果的这个功能从技术上讲很牛 B，但是担心的源头并不是没有，一是验证模型由苹果设定，二是所匹配的来自第三方 NGO 的图片。个人觉得让人产生隐私忧虑的主要在于第二点，也就是第三方图片来源也可能是身份证、自拍照等非儿童色情图片，从而引发隐私问题。至于第一点苹果的计算匹配模型，个人觉得苹果没有必要也没有可能会冒着巨大的风险在这方面做手脚，更有可能的是算法或者模型的漏洞被人利用所引发的风险，但个人认为这种担忧程度要远小于第二点

[minsheng]

@jjxtrotter 根据 Apple 的描述，第三方直接给的图片，所以 Apple 应该是可以手工审查的，而且即使有漏网之鱼，人工审查匹配的用户的时候也是可以查出来的。但如果给图片是全自动加入系统、人工审查也是直接外包，那就难说了。但我觉得这两者若是能同时成立，那问题就海了去了，比如骗外包的团队拿到 Apple ID 权限？这种情况下，CSAM 反而不足为虑。

[oIMOo]

@minsheng 你说的确实也是个问题，两边都是动态的。不知道除了遍历（或者真的增量遍历），还有没有什么其他的方法。

[kop1989]

@tmado 因为这并不是一个可以轻易讨论技术的话题。1 、你我楼主均不是 icloud 的核心员工。
2 、此功能的源码并不开源。
3 、这个功能的业务逻辑有非常明显的薄弱环节。且薄弱环节并不出现在技术中。（至少宣传上是这样）

这就像是苹果跟你说他为你造了一个能防沙皇核弹的保险柜，但苹果有保险柜的开启决定权。

在这种情况下，保险柜的用料，防护等级，其实都没有什么可讨论的动机了，因为苹果又是裁判员，又是运动员。更何况这个用料与防护等级还是苹果自己吹的，你无法进行任何佐证。

真正值得去讨论的技术话题，是如何保证这项技术真正的落实在儿童色情上，但苹果最终没有给出任何答案。

[swulling]

希望这个技术尽早用在云上贵州扫描违法图片

[salor]


就像滚导在自杀小队 2 里边夹带私货一样，for kids ？

[tmado]

@kop1989

我重新组织一下你可能应该怎么回复这个主题贴


楼主，你发这个帖子的其实是没有意义的，我们并不需要讨论这个业务实现的具体技术。

“因为这并不是一个可以轻易讨论技术的话题。1 、你我均不是 icloud 的核心员工。
2 、此功能的源码并不开源。
3 、这个功能的业务逻辑有非常明显的薄弱环节。且薄弱环节并不出现在技术中。（至少宣传上是这样）”

楼主你说的这些其实不是重要的，因为

“这就像是苹果跟你说他为你造了一个能防沙皇核弹的保险柜，但苹果有保险柜的开启决定权。

在这种情况下，保险柜的用料，防护等级，其实都没有什么可讨论的动机了，因为苹果又是裁判员，又是运动员。更何况这个用料与防护等级还是苹果自己吹的，你无法进行任何佐证。

真正值得去讨论的技术话题，是如何保证这项技术真正的落实在儿童色情上，但苹果最终没有给出任何答案。”


而关于以上这一点楼主在 15 楼的想法是
“这种思路就很迷。当然人可以选择不听，代码是苹果写的，苹果编译的，苹果发布的。理论上说苹果想推什么代码都行”


单就我的认知来看，你似乎并不想要讨论楼主主题帖所希望讨论的内容，而是执拗地希望表达自己的情绪。那何不去其他的主题帖讨论或者自己开一个主题帖呢？


抱歉我的回帖依然也是在进一步污染这个热衷于顾左右而言他的环境，不再继续回帖了。

[swulling]

有没有懂技术的，一起合伙做 toG 项目，扫描暴恐图片。

[icyalala]

技术讨论当然也包括安全问题，苹果从技术上可以保证安全性和隐私，但是整个链条最初的数据源是 CSAM 。
苹果使用了什么技术手段，能确保 CSAM 数据确实只是儿童色情，是否需要人为干预，这点没有看到苹果提到。这是最让人担心的地方。

比如这些照片提供的 NGO 或者这其中某个环节有内鬼，或者有不小心混入的正常图片，后面会发生什么，苹果是否有技术层面的防护？如果这里做不好，那隐私保护就是无稽之谈了。

[miku831]

@salor 这剧情…黑镜素材？

[lovestudykid]

用了神经网络，很难保证到底是匹配还是识别

[jim9606]

我倒是不担心苹果在这套扫描系统上运用密码技术进行保护的完备性。要是不完备，Apple 也不会那么详细地把运作机制抖出来了。看这方面的分析还挺长见识的。

我就是担心这个 NGO 提供的数据库，这玩意既不在 Apple 掌控下又不能通过公共途径进行监督和审查。简而言之，为啥我要把判断的准绳交给一个 NGO 而不是行政机关呢。

还有个问题是 NeuralHash 的 false positive 该怎么控制，这个我也没谱。

[Xs0ul]

虽然说是图片匹配，但这里 CNN 起的作用看起来像 feature extracter 或者 embedding 。放在一般的机器学习论文里，提取出来的结果应该就是当成一般的 feature map 。苹果硬是存成了二进制然后给了个 hash 的名字，还是很难说服别人这是匹配而不是识别。

而且既然这个模型是无监督学习的，我理解是数据集没有特意去区别儿童色情和成年人的色情图片。那这样训练出来的网络，很难说可以区分儿童色情和成年人的裸照。

还没看原文，只看了楼主的介绍。有理解错的欢迎大佬们指出。

[dingwen07]

问题就是，Apple 可以直接访问 iCloud 图片库中的所有内容，所以这个只有一个解释：苹果不希望消耗自己的服务端算力

[minsheng]

@Xs0ul

它之所以说是 hash，是因为它通过 locality-sensitive hashing，把提取出来的特征向量做了进一步处理。LSH 的性质就是，如果输入的值近似，那么输出的值相同。LSH 的数学我没接触过，完全不懂的，抽空我想去学习一下，但是维基百科上的 LSH 条目就是这么介绍的。

因此，Apple 训练这个网络的 objective 其实很简单：

- 近似的图片，输出的向量近似，minimize loss ； Apple 通过生成扰动的图像来做了 data augmentation 。
- 不同的图片，输出的向量尽可能不同，maximize loss 。

其实这个网络本身没什么「技术」含量，很标准的思路。

@lovestudykid

此处确实就只是用来匹配，神经网络是用来消除对图片的篡改的。

[minsheng]

@jim9606

根据 Apple 的架构，CSMA 的数据要不然以图像的形式去给 Apple，要不然需要对方按照 Apple 的算法，不修改任何参数，生成 NeuralHash 。但这样的话，如果 Apple 更新了 NeuralHash 的计算方法，对方还是需要重算一次，比较麻烦。因此我觉得大概率 Apple 会直接要求图片，在此基础上应该还是会人工审查一遍图片的。特别是，你这个担忧也是一个非常主流且有意义的担忧，所以我觉得 Apple 大概率会更加小心。

当然，如果我们从心里就不信 Apple，那就像我说的一样，没啥好说的了。

关于 false positive，我觉得这里非常巧妙的一点就是 Apple 用了 threshold secret sharing 来控制概率。如果 threshold 设置的相对比较高，那么只要 NeuralHash 这个组件没有出大 bug，那么当某个账户被 flag 的时候，非常大概率这个账户确实是有问题的。误伤一次也就算了，误伤十次……

这里还有一个问题就是 false positive 的定义。可能 Apple 认为就算系统 flag 了，只要人工审查拦住了，没有直接把用户的 iCloud 封掉，就没什么问题。但是对于 Apple 这种公司，只要有人工介入，确实算是有点失败，换我做用户我心里也不舒服。

[minsheng]

@dingwen07

这里应该是涉及到系统架构。

如果要上线一套在线的扫描系统，就引入了一个 single point of failure 。如果这套系统被黑客攻陷了，它可以任意访问全部用户的照片。可如果 iCloud 照片和密钥完全分开处理，需要手工输入指令才能解锁用户的信息，系统的安全性，对意外情况的防御，就能有效提高，同时也可以满足各地法律的需求。

[andywwj]

但抛开技术，首先要承认大众是盲目的，不可否认的是这件事的出现，挑战了绝大多数普通用户对苹果隐私政策的一种信任值。

[binux]

"Apple 希望自己的系统实现以下几点" 中的三四点会让一无法成立。

[systemcall]

不管 Apple 怎么说，开了这个口子，谁知道以后会不会实时录屏顺带人脸识别？
至少，不同政见之类的比较模糊的部分，还是有一些可以被操作的地方的
坚决反对这个技术。如果苹果继续开这种口子，那只能说美国人的好日子也要来了

[cadmuxe]

不是图像识别，而是图像对比。意味着只有 ngo 提供的已知的色情图像才会被命中。
所以就是只能抓看黄图的人而不能抓创作者，当然看儿童色情很变态啊。
这就像费了天大的劲天天只抓吸毒的人，然后不去管毒工厂和毒贩。
当然无论如何这种努力是很好的。
至于隐私，理论上来讲只要 hash 不出问题应该不会爆出私人照片吧。

[WebKit]

@lovestudykid 肯定是识别啊。匹配怎么匹配？

[haiironezumi]

@dingwen07 目的是为了将原本在 iCloud 上进行的 CSAM 审查变成 on device, 从而保证 iCloud 端不用解密数据.

@systemcall 扫描上传 iCloud 的图库到录屏人脸识别, 这属于逻辑滑坡, 因为从任意一点到录屏人脸识别都是突变. 扫描上传 iCloud 图库中的 CSAM, 到扫描上传 iCloud 图库中的 political content, 属于潜在风险, 这个在讨论范围情有可原. 不管怎么说, 你直接跳转到摄像头人脸识别的的确确在输出情绪.


@minsheng LSH 在目标超平面进行多次随机切分, 每一次随机切分的平面对图片的特征向量进行编码 hash, 在同一个 bucket (Hash 值相同) 中的特征进行比对, 看是否相近. 在这多次随机切分后得到一个综合结果. 每一次切分时会有一定的遗漏率, 通过多次切分确保查准率和查全率. 可以看看这个视频

[freelancher]

大家反感的是苹果未经用户同意就碰用户的数据。就算举着正义的大旗也不行。

[Xs0ul]

@minsheng #37 我想表达的是，因为 CNN 和之后的 LSH 都是无监督的，很难区分儿童色情和成年人的裸照，但前者是要打击的对象，后者却是用户不想让人工审核看的隐私

[minsheng]

@haiironezumi Thanks!

[minsheng]

@Xs0ul LSH 的作用是用来匹配图片……所以如果你把 Tim Cook 的图片弄成黑白的存在手机里，然后再把它塞入 CSAM 数据集里，照样可以匹配成功的。因为 CSAM 数据集不可能有你自己拍的裸照（除非你传出去），所以不会被匹配到。

注意，这也是 Apple 被抨击的一个点，如果 Apple 有意无意的让儿童色情之外的照片进入数据集里，那这些东西也会被匹配，使得这套系统被滥用。

[lovestudykid]

@minsheng 按照我对神经网络的理解，苹果做的类似自编码器，这个肯定是有分类识别的作用，而不只是匹配特定的图片。如果要匹配的话，有很多传统算法就可以了，也是有一定 robustness 的。用神经网络的话，还有个弊端，添加一些噪点可能就骗过去了。

[thx2u]

还记得 Siri 与隐私吗？

[Xs0ul]

@minsheng #49 我理解 LSH 是“匹配”，但这个匹配是基于 CNN 提取出来的 feature 的。要如何保证儿童和成人的照片 feature 不类似呢？

还是我理解错了，目标是只匹配 CSAM 数据集里的照片（以及它们的 augmented 版本），而不考虑泛化？

[levelworm]

@dingwen07 没错，这点是最恶心的，它非要放在客户端扫描，哥大不了不买了呗。这要是行了以后随便找个理由都可以客户端玩儿了。

[parametrix]

技术还是挺有意思的。不知道有没有提本地密钥的轮换制度？如果本地密钥长期不更新，那么随着误匹配的增多可能导致本地密钥失密，并且一部分照片被解密？以及如果人工审核发现是误判，那么本地密钥会不会更新呢？

[Bryan0Z]

不升级 ios15 就好了，我是觉得这个机制挺恶心人的…总感觉有个 big brother 在盯着我

[DeutschXP]

对于图片匹配方面的技术其实没有太多疑问，但对于匹配后的隐私相关流程，还是有值得质疑的地方：
1. 应该允许用户选择打开或关闭本地图片匹配的功能。未成年人的手机应该由监护人来决定是否打开。
2. 应该只有上传到 iCloud 的照片才能够强制打开匹配功能。
3. 不太理解为什么苹果不想让用户知道是哪些照片被匹配，为什么非要搞成黑箱操作。我认为，应该效仿 YouTube 等的方式，匹配成功的，该文件会被冻结，不能打开，分享，导出或上传，用户只能选择删除，或者申诉，必须用户主动要求申诉的照片，才会由程序和数据库中的原始照片进行匹配，如果算法认为相似分数低于某个值，申诉成功，照片解冻。分数超过阈值，那么申诉自动被驳回。如果分数在某个区间，用户可以选择人工介入或者放弃。只有到了这一步，才会有苹果的人工来复核这一张照片。但这一切的前提都是用户明确的意愿表达。
此外，为了防止数据污染，苹果的人工可以主动审核所有申诉对应的数据库照片，如果真的是误入的证件照或油画，删掉就好了。
而且如果认真来说，苹果想要达成什么目的，如果是为了阻止图片传播，那么标记警告，强迫用户删除，已经足够了，苹果又不是执法者，查获保留证据等行为不是苹果该做的事，我不觉得苹果有什么正当理由和借口，强迫用户允许自己的员工审核用户的照片。

[sunboman]

我希望大家能够从头到尾去把苹果的声明和 faq 看完再来讨论
这里有一些其他链接有助于理解苹果到底用了什么技术要做什么事情
https://9to5mac.com/2021/08/09/apple-csam-faq/
https://daringfireball.net/2021/08/apple_child_safety_initiatives_slippery_slope

我觉得有几点要澄清：
苹果并没有在手机上扫描图片内容，他们做的事 fingerprint matching，要做的是扫描你的手机上是不是有 csam 数据库里的图片，或者同一张图片的修改版，所以如果你的手机里有裸照，除非这裸照被 csam 录了，要不然不会被 report 。
这个 csam 扫描机制只针对 iCloud photo 用户，所以如果你不想苹果扫你的照片库，那就关掉 iCloud photo，所以是可以 opt out 的。

明确关键点之后，我们再来讨论这个 on device 扫描算不算 backdoor，或者认为手机上存在这样的一套机制就是对隐私的侵犯或者未来可能的侵犯之类的。

[crazydd]

Neural hash 估计就是个 CNN 抽特征向量，训练时弄点 contrastive 无监督聚下类。问题是这种得到的特征向量其实是可以重建图像的。现在神经网络的安全性研究可才刚刚起步，苹果就在这种安全性敏感问题上用 CNN，说是特意留 backdoor 可能也不为过了。

[imnpc]

我发现了一个问题 为啥没人讨论

用户在自己手机的数据属于用户本人 任何人不能动的

除非被法院 /警方搜查

[ufjfeng]

@imnpc 不开 iCloud 相册的话就像你说的那样，开了 iCloud 相册，数据就不完全是属于你本人了

[Greatshu]

@imnpc #59 是扫描手机照片而不是 iCloud 吗，哈人。相当于是系统级的后门，合法监控每一台 iPhone，FBI 再也不用担心解不开锁屏密码了。

[Greatshu]

[hello2066]

@imnpc 要是动了有何后果？

[hello2066]

@Greatshu 这个，苹果监测到上报 FBI, FBI 直接就能把人扔牢里去了吗？要法院判吗？要法庭上出示证据吗？以后就手机里有拜登光屁股的照片就会坐牢了？

[o00o]

为了万分之一非法用户影响万分之 9999 的正常用户，除了审查想不出其他理由，为了以后反恐？

[tutustream]

讨论来讨论去也没啥用，那些把苹果技术方面说的头头是道的老哥不知道是真不懂还是假不懂，这玩意主要问题不是在技术上，而是在对苹果和老美的信任上。

[Greatshu]

@hello2066 #64 微信公众号有一些文章是可以查看但禁止分享的，苹果完全可以这么干，对于敏感但有没必要动用暴力机构的照片，不允许被其它软件访问

[xingyuc]

@levn 成分？成分是地主，要打倒吗

[hello2066]

@Greatshu 那个的前提是美国社会到了那个地步，没有一个公司能脱离社会现实存在，所以讨论苹果的话，只要讨论这技术就行了，什么监控机密文件啦，监控负面内容啊，这根本就不是苹果一家公司的事。

[xingyuc]

@Greatshu 众所周知，中文互联网不管墙内墙外都全身是敏感点

[xingyuc]

@tutustream 一直以来，我国政。府都在教育我们不要相信美帝国主义

[cxe2v]

@xingyuc #71 政什么？你连个完整的词都打不出来哈哈哈

[anzu]

CSAM 数据库由其它机构提供。假设上层需要追查一个 CIA 在逃雇员，于是在数据库中插入此人在家中计算机遗留的手机照片数据，其中包括其孩子的照片。

Apple 收到扫描警报，但在检查过程中发现只是一些普通的儿童照片，询问相关机构，答复是：这名儿童正在遭受侵害，请提供该手机用户的信息。

那么如果你是 Apple 的工作人员，在无法得知更多信息的情况下，你是否会提供用户信息？

更进一步地，上层甚至可以伪造信息，将这些正常照片发布至非法网站，作为证据提交给 Apple 。苹果能应对多少？

但是上面这些都不重要。从一开始就不是技术问题。

问题的本质是，苹果从一个中立的第三方机构，一个被执法者，上升为执法者，甚至是检察官的身份，这是权力的扩张，结果必然是用户的权利（隐私权）收到侵害。

[datoo]

完全支持这个技术。有个这个技术警察就不需要单独扫描手机了，直接检测 iCloud 账户。谁敢传播违法图片，直接抓人

[kop1989]

@minsheng #6 “非常单纯的图片匹配系统”却可以识别“相近”，或者说“被故意更改特征”的图片，而不是完全相同的图片。所以我在上文中用了“模型”而不是“特征库”。

换而言之，这是每个人心里对于“泛化识别模型”与“特征库智能识别”之间定义的区别。

苹果通过将 key 碎片化（ share ）实现了“突破阈值才能解密”。但阈值是苹果定的，“特征库”智能纠错匹配的冗余度是苹果训练的。甚至训练图片的内容，都是无法监督的。

所以他整套技术在目前公开的信息看来，隐私方面只解决了个寂寞。
一切的关键变量与阈值都是无法通过技术客观佐证与呈现的。
但其对于“识别”、“加密”这块又浓墨重彩的宣传了一波。

这就导致从客户角度看苹果非常拧巴，一边大肆宣传他的算法多么的可靠，但另外一边又是千疮百孔。
上身是西装，下身是内裤。

@tmado #29 楼主也说了，其实其这套技术本身，实现很强，但基础知识并不高深，也都是业界的常规操作。所以没什么可“讨论”的。（你会去讨论加减乘除、牛顿力学么？）

如果必须要讨论技术的话：

1 、share key 的阈值是否动态可变？有没有技术特征保证其不可变？比如上公共区块链？
2 、识别结果不呈现给用户，那么如何佐证与呈现“特征库”的识别范围？有没有监督机制？
3 、技术上如何呈现“关闭 icloud 就不会被匹配”？（毕竟匹配是本地的）

[hahastudio]

你看英国当时用同样的理由让 ISP 封网站，结果变成了什么？
去看一下维基百科上面的 Web blocking in the United Kingdom

[mikeven]

@ufjfeng #59 感觉 9 成以上的用户都会用 icloud 相册，很难有不用的

[hello2066]

@anzu 既然你这么说，有哪家企业能抵抗 zf 的要求呢？在大街上一个警察让你交出身份证你不也乖乖的。你自己都做不到的事要求别人不合适吧。

[doveyoung]

《疑犯追踪》是一部好剧，系统在设计之初就决定了内部不可见
系统分布式存储，AI 自己把自己邮寄到各个地方
人类不知道具体存放地点
有且仅有这个 AI 知道所有的监控信息，
监控案件时 AI 只会吐出社保号码
你无法得知这个社保号码是加害者还是被害者，或者是相关人

---
尽管如此，最后还是被高层想办法复制了一份，得到了所有他们想得到的信息

[VIVVACI]

让我简单分析一下这个垃圾的策略
1 、安全性。理论上，哈希是敏感的，一个比特改变就会产生不同的哈希结果，这个显然不符合 apple 的初衷，所以一定是采用了图像处理技术。也就是说，这个算法可以直接拿到我的相册的真实内容。这意味着如果程序设计出问题、有人做出漏洞，也可以看到我的相册内容。所以不安全。
2 、可靠性。虽然图像处理技术是可以避免哈希的敏感程度，但是用神经网络的就会有对抗攻击，那么我在原始图片下加入某种噪声，人眼看几乎没有任何区别，但是可以让敏感图片脱敏，神经网络失效。同样的，如果别人用加了某种噪声的正常图片发给我，那么有可能可以做到恶意的诬陷。所以不可靠。
3 、敏感的界定。如果父母，记录孩子的成长过程，比如第一次洗澡的纪录，是否会触发？
4 、算力开销问题。我的本地设备要生成 hash，那么这部分的算力开销是我自己承担的，也就是我花钱买了一个对我完全没有任何益处的功能。耗电量？手机性能损失？发热？这些问题谁来负责。
5 、有什么权利扫描我的东西。如果是我分享了链接、发布了消息、别人都看的到，那么你去扫描去。但是我我自己的东西你为什么要扫描？顺便看一下 iCloud 的条款，可以看到一点条款都没有违反，但是让人感觉十分不爽。
“You understand that by using the Service you may encounter Content that you may find offensive, indecent, or objectionable, and that you may expose others to Content that they may find objectionable. Apple does not control the Content posted via the Service, nor does it guarantee the accuracy, integrity or quality of such Content.”
首先是别人用 icloud 给你发了让你不爽的或者淫秽的内容，诶，我苹果不管，跟我没有半毛钱关系。
“You acknowledge that Apple is not responsible or liable in any way for any Content provided by others and has no duty to screen such Content. However, Apple reserves the right at all times to determine whether Content is appropriate and in compliance with this Agreement, and may screen, move, refuse, modify and/or remove Content at any time, without prior notice and in its sole discretion, if such Content is found to be in violation of this Agreement or is otherwise objectionable.”
“Apple reserves the right to take steps Apple believes are reasonably necessary or appropriate to enforce and/or verify compliance with any part of this Agreement. You acknowledge and agree that Apple may, without liability to you, access, use, preserve and/or disclose your Account information and Content to law enforcement authorities, government officials, and/or a third party, as Apple believes is reasonably necessary or appropriate, if legally required to do so or if Apple has a good faith belief that such access, use, disclosure, or preservation is reasonably necessary to: (a) comply with legal process or request; (b) enforce this Agreement, including investigation of any potential violation thereof; (c) detect, prevent or otherwise address security, fraud or technical issues; or (d) protect the rights, property or safety of Apple, its users, a third party, or the public as required or permitted by law.”
然后再说，只要我乐意去调查，看看你的内容是不是违反了 iCloud 的使用条款，那么我就可以随时看。

只能说两个字，恶心。我花了钱买设备，买当初你们宣传的性能，现在突然要分出去一点给你们做处理，完成你们的业绩，真是恶心。

[charlie21]

@kop1989 你觉得如果苹果公司想为 “反儿童色情” 这一伟大事业出一份力 它该怎么做？

or 你觉得苹果公司不应该（以用户手机内容的方式）参与反儿童色情，反儿童色情 没有让苹果这多白莲花显得更白、反而让它增加了污点
（好像是 图库方 在 花了大价钱才买到的苹果公司的后门）

or 你根本没有儿童色情的定义，所谓色情它只是一个幌子

[oshio]

我觉得大家过虑了，从技术上将，用户对 iphone 本来就只有有限的使用权，真要弄你，直接给你远程悄悄塞几张，再让你被查到，不是更方便隐秘，到时你如何自证？大家都是无足轻重的无名小卒，没有被弄的价值，这就是最大的保护。

[MrKrabs]

@VIVVACI
第一条就很离谱了，现在就不能有漏洞吗？直接注销 apple 账号吧🏃🏃🏃🏃

[hello2066]

@VIVVACI 你买设备的时候 icloud 条款不是这样的吗？

[VIVVACI]

@MrKrabs 多一个冗余的功能就多一分泄露的可能，何况是对我没有任何好处的功能

[VIVVACI]

@hello2066 那你扫就扫，凭什么在我本地上开服务进行扫描，嘴上说着只扫 icloud 的，那么你去扫服务器不好吗，在我的本地开谁知道你能扫什么内容。更何况这种行为本身就是令人作呕的，你有合理的证据怀疑我违反了 iCloud 的协议，那你扫去，但是怎么判断你的怀疑是合理的，就硬怀疑？今天是程序扫描我的照片，明天是不是就借着名义直接人看我的相册里，反正“我们怀疑，你别管为啥，我就是怀疑了”。而且还在手机上开服务进行图像处理，借着安全的名义把计算压力转嫁给用户罢了

[VIVVACI]

@VIVVACI 这里面让我最厌恶的，甚至不是扫描我的照片，而是在我手机上开服务扫描我的照片。真就是转嫁计算成本+潜在的开后门。

[minsheng]

虽然我懒得给 Apple 当免费公关，但我还是一一回应一下 @VIVVACI：

> 安全性。理论上，哈希是敏感的，一个比特改变就会产生不同的哈希结果，这个显然不符合 apple 的初衷，所以一定是采用了图像处理技术。也就是说，这个算法可以直接拿到我的相册的真实内容。这意味着如果程序设计出问题、有人做出漏洞，也可以看到我的相册内容。所以不安全。

只有当程序的计算结果泄漏隐私，且该信息流出，个人隐私才会被破坏。这里需要注意，足够多的脱敏信息是可以暴露隐私的。

@crazydd 其实提到一点，就是特征向量会泄漏信息。但是 NeuralHash 会对 CNN 提取的特征向量做进一步处理。即使如此，NeuralHash 还是可能泄漏个人信息，所以 Apple 通过 private set intersection 确保了 NeuralHash 只有在匹配了数据库才会泄漏。

> 可靠性。虽然图像处理技术是可以避免哈希的敏感程度，但是用神经网络的就会有对抗攻击，那么我在原始图片下加入某种噪声，人眼看几乎没有任何区别，但是可以让敏感图片脱敏，神经网络失效。同样的，如果别人用加了某种噪声的正常图片发给我，那么有可能可以做到恶意的诬陷。所以不可靠。

「但是可以让敏感图片脱敏，神经网络失效。」有漏网之鱼很正常，至少这样没有破坏隐私。

「某种噪声的正常图片发给我」人工审查还是可以兜底的，尽管不完美，这点所有人都承认。

这里有个**很严肃的问题**，就是其实有一种潜在的攻击方式，是提供图片的组织本身想匹配图像 A，然后合成出图像 B，后者看起来就是个普通的儿童色情图片。Again，人工审查可以兜底……

> 敏感的界定。如果父母，记录孩子的成长过程，比如第一次洗澡的纪录，是否会触发？

不会，因为这是图片匹配。

> 算力开销问题。我的本地设备要生成 hash，那么这部分的算力开销是我自己承担的，也就是我花钱买了一个对我完全没有任何益处的功能。耗电量？手机性能损失？发热？这些问题谁来负责。

对一张图片跑个 CNN，算个 hash，影响不大。Apple 的产品经理比你我更关心这个事情。

[minsheng]

@kop1989

2 、识别结果不呈现给用户，那么如何佐证与呈现“特征库”的识别范围？有没有监督机制？
3 、技术上如何呈现“关闭 icloud 就不会被匹配”？（毕竟匹配是本地的）

这里非常反直觉的是，识别结果不是不呈现给用户，而是不呈现给你的设备。理论上来说，就算 Secure Enclave 失效，本地计算结果暴露，根据 PSI 系统的构造，这些计算结果对 iCloud 服务之外依然没有任何意义。

[miku831]

@oshio 哈哈英剧神探夏洛克，里面 Magnussen 被国.安局保护起来，Microft 就说不要说你在这儿听说过有关此人的讨论否则你的手机会出现一些不可言述的资料然后被捕。这还是 2014 年的片啊真有远见

[jhdxr]

我昨天其实打了一个长篇大论，但最后没有发，因为我也认为这个本质上更多的是业务问题而非技术问题。很多人已经点出了这一点，而许多反对的人也明白了这一点，却依然反对。换句话说分歧更多的是在价值判断上，我不认为这种讨论会有大的价值。。。


> 这里有个**很严肃的问题**，就是其实有一种潜在的攻击方式，是提供图片的组织本身想匹配图像 A，
> 然后合成出图像 B，后者看起来就是个普通的儿童色情图片。Again，人工审查可以兜底……

我没发的那个长篇大论中其实也想到了这个问题，就是针对神经网络本身的攻击，前几年我参加的 workshop 看到了对于物体识别的相当成功的攻击范例。在图片中加一些肉眼可忽略的噪音就可以产生错误的结果（同时模型还无比自信→_→）。 @minsheng 你所提及的人工审核兜底在 @anzu 的回复中已经给了一个例子『 Apple 收到扫描警报，但在检查过程中发现只是一些普通的儿童照片，询问相关机构，答复是：这名儿童正在遭受侵害，请提供该手机用户的信息。』更何况，『人工』这两个字本身就意味着不可靠。高考打分我们有双重、三重、再到阅卷组组长复核。苹果这个审核的流程，『人工』这一点上如何保证可信，我也希望看到它进行更多的披露。

[Cielsky]

既然是开了 iCloud 的用户才会扫，那为什么不在云上扫，非要在用户端扫？
这么大个公司连这点钱都要省？
用户花花了钱买了个对自己毫无卵用甚至加剧电池损耗的功能

[RiverYKB]

TechChurch 采访 Apple 隐私首席说“哈希列表是内置于操作系统的，我们有一个全球性的操作系统，没有能力针对个别用户进行更新，因此当系统启用时，哈希列表将被所有用户共享。其次，该系统要求超过图像的阈值数量，所以试图从一个人的设备或一组人的设备中寻找哪怕是一张图片都不会成功，因为该系统根本不向苹果提供任何关于存储在我们服务中的单一照片的内容。”

这可能会使得对隐私稍微友好一点。意思要死一起死呗。

[bluesakura]

@Cielsky 我的猜测是：如果在云上扫的话苹果大量服务器是租的，可以参考下斯诺登的 PPT 。

[ruixue]

@RiverYKB 中国、日本、美国销售的 iPhone 搭载的是同一个 iOS 系统，但是中国的 iPhone 无法启用 FaceTime Audio，日本的 iPhone 无法关闭拍照快门声。同样的，即使是相同的一台 iPhone，登录国区 Apple ID 连接的就是云上贵州的服务器，登录外区的 Apple ID 连接的就是苹果自家的服务器。显然 Apple 有能力针对特定的用户群体区别化地实施功能，Apple 隐私首席所说不尽不实

[VIVVACI]

@minsheng 虽然算力影响不大，但是实实在在影响到我手机的性能了，如果我现在用的是老一些的手机呢？不论怎么这都是在为对我没有任何帮助的功能买单。
人工兜底也不是完美的，我觉得应该是 FBI 提供给 Apple 具体的有嫌疑的人，然后 apple 配合调查。让大部分人为少部分人的行为买单是离谱的。这种图片合成一下，然后从非美国境内上传到网上，一堆人下载下来上传 icloud，瞬间多出一堆嫌疑人。要多少人工审查呢？难道 FBI 已经无能到需要这种“普查”的方式才能找到犯罪嫌疑人了吗？

[VIVVACI]

@VIVVACI 打一个不恰当的比方，就好为了抓某个在逃嫌疑人，然后强制所有手机厂商开后门，去扫描用户之前拍过的照片，来判断嫌疑人曾经出现过的地方一样。很离谱。

[xiang1xiang]

不扯那么多，如果是国内厂商这么做呢？还是这反应吗？还有这么多支持吗？

[leeuu]

今天是照片匹配 下次就是某个 PDF 匹配了 只要开了后门 匹配的是什么东西还重要吗?

[tsohgdivil]

@xiang1xiang 如果是那样你以为你还能看到有人讨论（滑稽）