找到了 iOS 被怀疑淘宝窃听的可能原因

[imlibra]

之前这样的帖子一直不少，刚刚又听到了群里的朋友怀疑这一点，对方确定没有搜索或通过其他方法暴露关键词，就后台通过语音被推荐。

Siri 在中国的服务器实际上是基于阿里云的 (guzzoni.apple.com 39.102.96.186)。39.102.96.x 被我确定是一个阿里云 vps 的段。

虽然我不确定这个 siri 服务器有没有直接接触未加密的语音数据，或是语音数据被从设备上加密然后传送到苹果的其他地方。但根据 iOS 8 的 Siri 协议（那时候 Siri 还没有 SSL pinning ），语音数据是直接被这个服务器接触的，参考 https://www.theiphonewiki.com/wiki/Siri_Protocol

我通过抓包实验了一下，在路由器上 tcpdump 所有 443 端口，并且对着 iPhone 说了一些和 hey siri 语音上比较类似的话，比如一句话中包括”hey sir”等。以下为 tcpdump 记录，这个 IP 在说话时出现了多次:

https://gist.github.com/imlibra/463c3890d4c7675f1c9580f043b25688  显示 Gist 代码 

之后我还准备通过越狱绕过 SSL pinning 对最新的 Siri 协议做研究，以确认这一点。

[dingwen07]

苹果的说法是上传之前都移除了识别信息

> 您的请求历史记录会与设备生成的随机标识符关联六个月。您的请求历史记录可能会包括转录文本、选择参与“改进 Siri 和听写”的用户的音频以及相关的请求数据，如设备规格、性能统计数据和提出请求时设备的大致位置。六个月后，您的请求历史记录不再与随机标识符关联并可能保留最多两年，以帮助 Apple 开发和改进 Siri 、听写和其他语言处理功能，如语音控制。一小部分已核查的请求可能会在不包含随机标识符的条件下保留超过两年，以用于 Siri 的后续改进。

当然服务器那边可以通过 IP 地址进行一定程度的识别和追踪。

我个人觉得云服务提供商是不敢这么做的吧，万一被发现那就没人会用你的服务了。

[imlibra]

@dingwen07 但是淘宝是可以直接通过 IP 来匹配啊（阿里云的 IP，VPS 上的语音数据和淘宝的连接 IP ）

[imlibra]

@dingwen07 感觉苹果对中国妥协这么多还不如直接退出中国，我真的很不想用了

[imlibra]

@dingwen07 其实仔细想想，这样不仅可以用来做推广，都可以直接被中国相关部门用来学习声纹库了，因为 IP 地址肯定是实名的。

苹果不用自家 17 段或 AWS 、Google Cloud 等却用阿里云，他们自然是知道这样的后果的。

[namelosw]

这个听起来理论上好像是可行的…… 恐怖。只要大概一天内用了 Siri 和淘宝应该就能认出来。

当然不太确定是不是苹果是不是自己有一些交换 key 的方式让阿里云不可能解密或者拿到未加密数据。

不过我很久以前所有的设备一拿到就把 Siri 禁用了，而且我很多年也不用淘宝了，所以不太确定我有没有这个现象。

[imlibra]

@namelosw 至少在 iOS 8 中是没有的，直接经过 Opus 编码压缩后通过 https 发送。至于新的 iOS 版本有没有，我准备通过越狱绕过 SSL pinning 研究一下。

无论如何，在云上贵州之后，苹果做什么都已经让我毫不意外了。

[elfive]

1. HomePod 全局翻
2. 手机在外面基本没用过 siri （反应太慢，没有全局翻），在家会把请求中继给 HomePod 。
3. MBP 、Apple TV 不用 Siri

一直这么用，基本不会遇到那么严重的泄漏。

[Netfix]

不用国区就不用签云上贵州的协议 多简单。

[imlibra]

@Netfix 我是美区仍然如此。

[zmxnv123]

我比较怀疑的是阿里直接监听客户服务器的数据，这种事如果爆出去还能做生意吗。
至少我觉得苹果应该不会主动卖 Siri 信息。

[snw]

我以前一直以为在 Hey Siri 唤醒之前，Siri 只是在本地监听捕捉 Hey Siri 词组，唤醒后才会发到云端识别，现在看楼主的 tcpdump 困惑了。

[minamike]

把淘宝删了一了百了
能用网页版就用网页版
实在要用 App 的时候临时下载一下

[maskerTUI]

我觉得阿里马上就会出来否认了

[iloveoovx]

那在国内如何安全地用 iPhone 呢，除了比如换美区 id，还需要做什么事呢

[ostrichb]

@iloveoovx 全局入欧？

[quanqiubiannuan]

这叫大数据！

[justfindu]

还有两点要排除
你通过 Siri 说话, 然后他进行了默认搜索, 默认搜索用的 Safari , 国行手机默认是百度, 然后被识别了.
如果给了淘宝相册相机权限之后, 他会读你的截图, 第一张图.

[imlibra]

@snw 只要满足一定的触发条件会上传识别的，参考 https://m.mydrivers.com/newsview/643668.html

[Webpoplayer]

果然..害,只能这么想了
'我都上淘宝了,要啥隐私..'

[Leonard]

Siri 关掉就行了

[ospider]

更有可能是输入法泄露的，建议使用系统自带输入法。另外现在不会再上传录音了，语音识别都是本地的。

[woshipanghu]

何止感觉淘宝监听你说话
百度 拼多多 都有
这个原因不成立

[imlibra]

@woshipanghu 如果是 iOS 上的话，可能是阿里通过广告联盟什么的共享了数据

[imlibra]

@elfive 通过苹果自己的 VPN 是没用的，因为 Siri 的流量完全不走 Network Extension

[elfive]

@imlibra #24 路由器全局……

[XuanYuan]

问题是，关了 Siri 不能 CarPlay……

[flynnlemon]

@imlibra 如果这是淘宝通过阿里云渠道得到的独家数据的话，你觉得多少钱，可以让它向竞对分享这些信息？

[imlibra]

@flynnlemon 这明明是王婆卖瓜，自卖自夸啊。
而且被拿去给相关部门训练声纹库也免不了了。

[xz410236056]

“在对数据进行处理时，Siri 会使用随机标识符，即与单个设备相关联的一长串字母和数字来跟踪数据，而不会通过你的 Apple ID 或电话号码将这些数据与你的身份相挂钩。我们相信，我们采用的这种流程在当今的数字助理中可谓是独一无二的。为了进一步保护你的隐私，在六个月后，设备数据便会与随机标识符解除关联。”


https://www.apple.com.cn/newsroom/2019/08/improving-siris-privacy-protections/

[imlibra]

@flynnlemon 淘宝和阿里云怎么可能是竞争对手，是同一家啊。

[imlibra]

@xz410236056 但是阿里可以非常简单的通过 IP 匹配，因为 Siri 的请求 IP 和淘宝客户端 IP 必然是相同的。

[cydysm]

反向思考一下 如果让你来实现这种精准推送（合规合法情况下），你会怎么去做

[xz410236056]

@imlibra
1 、没有公网 IP 的人怎么办？
2 、iOS15 中增加了隐藏 IP （ Safari 不知道 Siri 有没有）

[imlibra]

@xz410236056 那推送范围就广一点咯。

[imlibra]

@cydysm 这归根到底是苹果的错。Siri 语音数据这么敏感的东西，包括用户的私下谈话和日常生活，应该放在苹果自己的服务器去处理，至少用 AWS 和 Google Cloud 不是吗。

苹果不可能不知道把这些交给阿里云是什么结果吧？

[cydysm]

@imlibra 噢 我以为你不会选择监听这个做法（我其实想说监听很低效

[cydysm]

建议拿出更有力的证据吧

[Regened]

@imlibra #35
之前 tesla 和滴滴问题的时候工信部强调过：在境内运营中收集和产生的个人信息和重要数据应当按照有关法律法规规定在境内存储。需要向境外提供数据的，应当通过数据出境安全评估。

很显然用 AWS 或者 Google Cloud 的服务是不可能通过这类评估的，苹果这种极度遵守法规的企业，不可能为了保护用户的隐私去碰监管红线

[mac20221225]

我直接吧语音唤醒关了，用安键管理

[imlibra]

@Regened 但这么没有底线也可以吗？像 Siri 音频这样包括用户私人活动和聊天的东西，也可以给阿里吗？苹果不应该用 17 开头的自己的服务器去处理这些吗？

[2i2Re2PLMaDnghL]

想要隐私还是推荐 Replicant 并且只安装来自 f-droid 和自行编译的软件，且全局 Tor
不会真有人信了苹果关于隐私权的那套说辞吧，CSAM 审查还不够说明问题吗？再重申：「噱头」不是「保证」。
一个把高端消费品搞得像是个奢侈品的品牌…… 这是卖给穷人，然后让这些穷人自以为是富人的东西。
类似地，卖给完全不懂隐私为何物的人，让这些人觉得自己的隐私得到了保护。

- What is the purpose of our privacy policy?
- To protect users' privacy.
- It is to make people *believe* users' privacy is protected.
- The hackers?
- Not the hackers, the users! The hackers know it's not.

[imlibra]

@Regened 或者哪怕在国内自建基础设施，也比直接给阿里云好不是吗…

[bubuyu]

@Regened AWS 和 Azure 都有中国版。

[zanrenXu]

持续关注，期待 LZ 贴出更多证据

[Rheinmetal]

@imlibra 如果数据过手可以蹭一层油的话 ...

[imlibra]

@zanrenXu 下一步就是逆向最新的 Siri 协议，如果还是像 iOS 8 那样直接把语音数据 https 发给 guzzoni.apple.com 而不是在发送之前在设备上加密（然后在 route 到苹果的服务器上什么的），那就确定阿里可以接触到这些 Siri 音频，包括每一个苹果用户的日常生活、谈话等。

不过我认为应该在这一点上和 iOS 8 没有区别。如果要加密后发送给阿里云，然后再发到苹果的数据中心解密，为什么不直接发给苹果的数据中心呢？

[zanrenXu]

@imlibra 👍

[jiangyang123]

请阿里云的用户出来现身说法下吧
你们存在阿里云的数据会被云服务商自己盗用吗

[imlibra]

@zanrenXu 而且除了被推广，相关部门毫无疑问可以拿这些音频用来监控和训练他们的声纹库。

[zanrenXu]

@imlibra 是的。现在国内大数据热潮，GV 主导，趋势🤔

[mzlzero]

我不是技术，仅从自身认知上去谈，我觉得国内目前这些 app 并不会去做实时监听或者关键词触发监听，一个是成本还一个是从技术上来说他们没法做到让用户完全无感知。而目前国内做智能推荐，个人认为字节的技术最好（前几年），现在各家都在做，基于的是你在互联网上留下的各种痕迹，有些时候你觉得你没有，你确认过，但是实际上很多时候你不知道自己无意间做了什么。而语音监听和分析远远没有这个性价比高。这种帖子一直有，只能证明算法的确很好，以及背后的人对人性的理解和策略制定到位

[imlibra]

@mzlzero 后台录音几乎不可能了，尤其对 iOS 来说。但 Siri 就很简单了，苹果又把中国的 Siri 服务架设在阿里云上，所以他们有什么理由不用这么好的到手美餐吗？

我想苹果自然是知道这一点的，但可能根据《网络安全法》和《数据安全法》被要求必须托管在国内指定的云平台上，而不能用自己的设施处理这些数据，但我觉得这么重要的东西直接扔给国内公司也太没底线了吧。

所以越来越讨厌苹果了。

[Rheinmetal]

@imlibra 主打隐私 e2ee 的产品不可能在境内做大

业务细节就比较微妙了

横琴粤澳 或者 香港产生的数据如何处理呢 在哪个数据中心？

[dingyx99]

1. 期待补充更多证据（苹果很多服务现在是本地还要验证证书的，如果只做 MitM 很有可能什么都拿不到）
2. 如果事情真的属实，对苹果和阿里两家公司的商誉都是巨大影响，暂且认为这个事情还是不会发生的吧
3. 苹果有自己的 ASN，但是你不能保证你访问到的 IP whois 结果是 Apple Inc. 的服务器一定是苹果自己的（毕竟有 BYOIP ）

[imlibra]

@Rheinmetal 我用香港的 VPN 解析了这个域名。有时候是苹果自己的 17.33.18.1，有时候是 AWS 的 13.209.143.96 (ec2-13-209-143-96.ap-northeast-2.compute.amazonaws.com)

[imlibra]

@dingyx99 有一个 SSL kill switch 可以从底层 patch 掉苹果的加密库，我在试这个 https://github.com/nabla-c0d3/ssl-kill-switch2

[Rheinmetal]

@imlibra
这样还好 担心隐私润港即可

全局代理 规则分流到境内 境外云服务器 分别转发 不知道是否可以减少隐私泄露

[cnZary]

上云也有非常简单的办法不让 idc 获取实例中的任何数据，除网络外，何况一般这种公司都是用的阿里云物理机
如果你说阿里云可以通过 mitm 获取数据，那么至少证书会报错，如果你说他不会报错，那么运营商也能轻易窃取这些信息

[Vndi]

@imlibra 难道不是应该讨厌造成这种情况的______和“可能”用技术来做恶的阿里云吗？苹果基于优化中国大陆连接的目的选择了目前中国境内最大的云服务提供商，这个举动的问题在哪呢？

[Vndi]

任何商业公司想要在某地运营的前提都应该是遵守当地法规，既然 Local Gov 的国家数据安全条例规定了个人数字信息严格出境审批，苹果作为商业实体唯一的可期待行为就是遵守当地法律。
苹果的隐私承诺也从来没有说过会帮助用户对抗来自国家强力部门的审查与审核，FBI 事件更多的是不合规程序让苹果拒绝交出用户数据而非某种被外界误以为的“对抗执法部门”。
苹果没有为了用户对抗国家机器的意志与能力，阿里云借由这一机会摄取到用户隐私那应该抨击阿里云，毕竟如果一封写给别人的信被拆了应该去抱怨投诉拆信的人而不是运信工，不是吗？

[agagega]

校外小餐馆的东西可能不干净，但是把它禁掉，校内食堂就能好起来了？

[YNaN]

期待后续

[ttys001]

幸好当初放弃了云贵～

[liaoyaoheng]

录音，录屏会在右上方显示灯提示

[zhzhA]

https://mrmad.com.tw/iphone-eavesdropping-conversation

不让淘宝听，那就让 FB,IG,YTB 听吧
如果不用以上几个软件，确实是掩耳盗铃成功

[lakehylia]

你朋友可能没有搜索，但是你朋友跟他老婆说了，然后他老婆搜索了。。。

[PanJiaChen]

我一直猜测是某些输入法再倒卖信息

[dioxide]

来看看会不会 水深火热

[WuSiYu]

根据可能性的角度去讲，这种“被窃听感”的现象其实更可能是 相似人群聚类+跨应用 /设备信息追踪+随机性和心理作用

[gunjianpan]

这说了啥呀，和沈逸关于 Cloudflare 的逻辑有啥区别
在 v2 不得 show me the code 吗

[jiayong2793]

没十级脑残写不出这样的标题

[Cu635]

@Regened
AWS 是有国区的吧。

[imlibra]

@jiayong2793 有病吧？
有些果粉怎么那么恶心，什么都能洗对吗？

[imlibra]

@gunjianpan 我已经说了，根据 iOS 8 的 Siri 协议，阿里云就是可以获得这些语音的，参考 The iPhone Wiki 那个关于 Siri Protocol 的描述。

现在唯一不知道的就是最新的 Siri 协议是不是仍然如此，还是在上传到阿里云 Siri 服务器之前在设备上做了加密，再被传送到苹果的服务器解密，不过我觉得不太可能是后者，因为这是完全没有必要的，所以应该和 iOS 8 是一样的。

[jiayong2793]

@imlibra 是写，我的天啊

[dingwen07]

我在 reddit r/apple 下面看到了几乎一摸一样的东西

[imlibra]

@dingwen07 是我发的

[RichardY]

终于有人意识到声纹的重要性了
顺道问一下有什么办法保护自己的声纹？

[onlyu]

元宇宙，人类一个也跑不掉，你的 face,voice, DNA，逐渐都收集全了

[imlibra]

@Regened 但是与此相反，哪怕在中国，Apple Push 推送服务 (api.push.apple.com api.sandbox.push.apple.com) 也是用的苹果自己 17 开头的服务器。

我觉得可能因为 Siri 语音可以被数据安全法定义为“在境内产生的数据”，在出境之前要进行“数据安全审查”？

[imlibra]

@imlibra 还有 gateway.push.apple.com 都是苹果自己的 17 段。

[woshipanghu]

@imlibra 都是竞争对手怎么可能共享数据

[Lavventura]

淘宝在 iOS 的设置里面，有一个录音的权限是默认开启的，关闭可以解决一部分。

[turi]

你想干什么啊，
看看苹果内置证书，你还不是在裸奔吗？

[Ayersneo]

国行手机 非国区账号 无全局代理 也是连的阿里云 114.55.105.xxx

[Ayersneo]

但我把这个域名屏蔽了 照样仍然能正常使用 Siri🤔系统 iOS14

[jedihy]

淘宝这种东西应该要滚出历史舞台了。