Anthropic 发布威胁情报报告中的“生物误用”感觉才是最可怕的

[mixuxin]

Anthropic 称这是前沿模型“最严重风险之一”。

• 基孔肯雅病毒增益功能相关申请，军事院所背景，经美国基础设施隧道。

• 禽流感哺乳动物适应/气溶胶传播实验规划（早期阶段，因分类器只能用较弱模型）。

• 正痘病毒（含天花/Mpox 相关）高防护实验室申请，转售商一天可中继数万条消息。

• 毒液肽图谱与生成管线，治疗叙事下含麻痹靶点（澳大利亚集团管制物）。

• 细菌毒素亚基、出血热病毒蛋白的计算改造，挂在国家级项目上。

大模型分类器能挡住最露骨的高危提问，但挡不住“治疗/减毒/疫苗”包装下的两用工作。需要机构信号、数据留存和“可信访问”通道，而不是只靠关键词。近期内部清扫约发现 35 起相关尝试。

[Rickkkkkkk]

这些拦截开源模型通通可以轻松绕开。

[mixuxin]

@Rickkkkkkk 太可怕了～

[sillydaddy]

我一直在想，AI 导致的哪些威胁是「攻防对称」的，也就是可以互相牵制，来达成平衡，而不用担心被任意拿来做恶。
核武器就是明显的「攻防不对称」：假如人人可以轻易制造，那就是进攻方碾压防守方的大规模杀伤性武器。

生物安全威胁，属于对称的吗？直觉上应该是不对称的。毕竟病毒看不见摸不着，杀伤也是大范围的。防守方看起来极其被动。虽然可以事发后快速研发疫苗，但严重损害已经造成。

网络安全威胁呢？这个应该值得商榷。

[cwxiaos]

新一轮攻防，开源模型一个权重消融就能随意作恶，能力强的模型确实应该慎重开源，以前的脚本小子现在成了 vibe 小子，破坏力更大了

[lemoncoconut]

也门人 vibe 导弹，俄国人 vibe ai 杀人机器人 过于黑镜了