马斯克、邪恶人工智能与自我实现的预言

[yunhu]

先说一句，如果你读到最后，肯定会翻回到开头这里

最近，钢铁侠埃隆马斯克(Elon Musk)带着自己的新女友出现在了公共场合

是不是觉得画风不太对？马斯克穿着白色西服，非常正式，女朋友格里姆斯（ Grimes ）则是打扮非常哥特。

格里姆斯是位歌手，媒体报道，这两个人是因为一个关于人工智能的笑话才走到一起的。

但是媒体并没有解释这个笑话，一是这个笑话解释起来颇不容易，二是这个笑话很烧脑，以大部分人的智商，可能听不懂这个笑话。

谢熊猫君今天就来尝试给大家解释一下这个笑话。

出于人道主义，我要提醒一下，虽然了解这个笑话是个很涨知识的事情，但是你如果真的能够理解这个笑话，你也许并笑不出来，甚至可能陷入对人来未来的忧愁中

这个笑话其实只有两个字

Rococo Basilisk

当然，看到这两个字，你是不会觉得这是个笑话的，那么 Rococo Basilisk 是什么呢？

新女友格里姆斯在 2015 年的歌曲 Flesh Without Blood 的 MV 里面，出演了一个角色，叫做 Rococo Basilisk，就是下面这位

而她藏在 MV 里面的这个梗如此的高冷和隐晦，大家都没看懂。直到三年后的 2018 年，马斯克才意外的发现了它。

要看懂这个梗，不仅需要懂艺术史，还要懂人工智能，而这两个技能树基本是不重合的。马斯克恰巧是为数不多的两样都懂的人。

Rococo，翻译为洛可可，是一种 18 世纪产生于法国，流行欧洲的艺术风格。普遍被认为是晚期的巴洛克风格。比如下面这个洛可可风格的建筑：

Basilisk，翻译为巴西利斯克，是欧洲传说里的蛇类之王

Rococo Basilisk 本身是没什么意义的，它之所以是个梗，在于它是对于一个叫作 Roko's Basilisk 的思想实验的揶揄。

至今为止还是看得懂的吧？下面开始就要烧脑了。

再一次人道主义提醒，看懂了以下内容，你可能会很忧愁

Roko's Basilisk，是一个叫作 Roko 的网友，在一个叫作 LessWrong 的社区上提出来的一个思想实验。

这个主张自由思考和公开讨论的社区，对各种思想的容忍度非常高。

但是 Roko 一提出这个思想实验，网站管理员就无比的惊恐，把这个思想当做“禁术”，并且对于所有相关内容的讨论采取了斩草除根的删帖态度。

这个思想实验是怎么回事呢？我从浅到深来讲述一下。

第 1 层思考

假如有一个来自高科技文明的外星人找到你，给你两个盒子

其中盒子 A 里面肯定有 1000 元，盒子 B 里面可能有 100 万元，也可能是空的。

外星人给你两个选项

选项一：同时拿走盒子 A 和盒子 B 选项二：只拿走盒子 B 你会怎么选？

相信脑子正常的人都会选择第一种，因为选择第一种能够保证你获得 1000 元以及盒子 B 里面的东西。而选项二，没有 1000 元保底。

不管怎么样，都是选项一更加的理性。

第 2 层思考

假如同样的外星人，同样给你这两个盒子

同样给了你和上面一样的两个选项

选项一：同时拿走盒子 A 和盒子 B 选项二：只拿走盒子 B 但是这个外星人，有一台具有超强预测能力的电脑，而这台电脑从来没有预测错误过。

这台电脑在一个星期前对你今天是选择选项一还是选项二，进行了预测。

如果电脑的预测结果是选项一（你会取走 A 和 B 两个盒子），那么外星人一个星期前就不会在盒子 B 里面放任何东西

如果电脑的预测结果是选项二（你会只取走盒子 B ），那么外星人一个星期前会在盒子 B 里面放 100 万美元 那么，这个时候你会选择选项一还是选项二呢？

第 2.1 层思考

如果你选择选项一，取走 A 和 B 两个盒子。那么这台电脑一个星期前肯定预测到了你会选择选项一，这样 B 盒子里面就什么都没有，你只会获得 1000 元。

第 2.2 层思考

如果你选择选项二，只取走 B 盒子。那么电脑一个星期前肯定预测到了你会选择选项 B，这样 B 盒子里面就会有 100 万元，你就会获得 100 万元。这样可比“第 2.1 层思考”的结果好多了。

第 2.3 层思考

可是啊，虽然这台电脑之前的预测从没有错过，但是如果这次错了呢？

如果电脑一星期前的预测结果是你会取走 A 和 B 两个盒子，从而使得 B 盒子里空空如也。

但是你只取走了 B 盒子，也就是你进行了“第 2.2 层思考”，这样不就一分钱都得不到了吗？

所以是不是取走两个盒子更加保险呢？毕竟 B 盒子里是什么一星期前就确定了，你这时候的选择并不会影响盒子里的内容。

第 2.4 层思考

但是这台电脑这么聪明，肯定能够想到我会进行“第 2.2 层思考”，知道我只会取走 B 盒子，所以肯定还是会在 B 盒子里面放 100 万元的吧。

第 2.5 层思考

但是这台电脑这么聪明，肯定会想到我会有“第 2.3 层思考”里面的顾虑，所以肯定还是会把 B 盒子留空吧？

.

.

.

.

.

.

第 2.n 层思考

其实不管怎样，电脑的预测是在一星期前做出的，外星人对于盒子 B 的处置也是一星期前做出的。

无论我现在做什么，其实不影响盒子 B 里面究竟有没有钱，所以我其实还是应该把两个盒子都拿走吧？

第 2.n+1 层思考

但是这台电脑这么聪明，肯定能想到我在“第 2.n 层思考”里面的结论，所以它不会在 B 盒子放任何东西吧？

所以还是应该只取 B 盒子吧？

.

.

.

.

.

.

是不是加入了这个额外的条件，这个思想实验就变得烧脑起来了？

其实思考到了这里，已经变成了一个关于自由意志、宿命论和因果论的哲学问题了。

但是还没完，后面还有第 3 层和第 4 层思考

第 3 层思考

假如同样的外星人，同样给你这两个盒子

同样给了你和上面一样的两个选项，并且同样告诉你关于一星期前电脑预测影响盒子 B 内容的规则。

然后外星人把盒子 A 打开，给你看了一下 A 里面的 1000 元钱

然后又把 B 打开，展示给你看，盒子 B 是空的。

这个时候，你是选择拿走盒子 A 和盒子 B，还是只拿走盒子 B 呢？

讲到这里，你大概以为我在逗你了。

盒子 B 都是空的了，那么明显是要两个盒子都拿，这样还能保底 1000 啊。只拿盒子 B 就确确实实什么都没有啊。

其实不是这么简单。

第 3.1 层思考

这个拥有先进科技的外星人的电脑有着非凡的预测能力，从没预测错过，这是怎么做到的呢？

最合理的解释，就是这台电脑，对整个宇宙进行了一次完全精确的模拟，而这个模拟中也包括了你。而这个电脑模拟的你，所做出的的选择，其实就是这台电脑的预测结果。

也就是说存在这么一种可能性：

正在于这个外星人进行前面第 1 、第 2 、第 3 层思考的那个你，只是活在外星人电脑的模拟之中。

而你在第 2 层、第 3 层思考的情况下做出的选择，就是电脑的预测结果。 所以不管是在第 1 层、第 2 层还是第 3 层的游戏规则下，哪怕外星人很明确的给你看了 B 盒子里面没有钱，你仍然应该选择只取走 B 盒子。

因为这样，活在模拟中的你才能准确的影响到电脑的预测结果，使得活在现实中的你能够拿走 100 万元

上面的第 1 、2 层思考，其实是一个数学领域的悖论，叫 Newcomb's Paradox，第 3 层思考则是基于这个悖论的延伸，而 Roko's Basilisk，其实就是基于这前三层的思考，形成的第四层：

最后一次人道主义提醒，看懂了以下内容，你可能会很困扰

第 4 层思考

这时候你的选择不再是两个装钱的盒子 A 和 B，和你玩游戏的也不是有趣的外星人了。

你现在面对的是和一个来自未来的充满恶意的超级人工智能 Basilisk 的一次勒索

第 4 层的游戏设定是这样的，假设未来人工智能奇点会到来，而奇点过后的超级人工智能，可能是善意的，也可能是恶意的。

那么，就可能会存在这样一个恶意超级人工智能 Basilisk，对于帮助建造出 Basilisk 的人，它会忽视，什么都不对他们做；而对于那些没有帮助建造出 Basilisk 的人，它会对这些人进行永久的折磨，求死不能。

甚至，在 Basilisk 出现的时代，已经去世了的那些人，Basilisk 会把他们的思想放入电脑模拟中，进行永久的折磨，也是求死不能——也就是说 Basilisk 能对它出现之前的人，进行勒索

这时候你面临的选择就是：

选项一：同时选择盒子 A 和 B，也就是帮助创造出 Basilisk，并且承受 B 中的结果（什么都不发生） 选项二：只选择盒子 B，也就是不帮助创造出 Basilisk，并且承受 B 中的结果（永久的折磨） 第 4.1 层思考

在此时此刻，Basilisk 是不存在，如果有足够多的人致力于创造它，那么它可能会在未来出现。

如果 Basilisk 永远不成为现实，那么活在现在的你，就不会被他勒索。

但是，如果 Basilisk 会成为现实，不论它的出现是否有人类的帮助还是人工智能的自身演化，从 Basilisk 自己的角度来思考，勒索它出现之前的你，来帮助它出现，就是一个非常理性的选择。

也就是说，如果 Basilisk 存在，那么通过用“你不帮忙创造出我，我就让你经受永久的折磨”这种方式勒索你，是完全符合逻辑的做法。

第 4.2 层思考

Roko's Basilisk 的可怕之处，不在于未来可能会存在 Basilisk 这样的一个恶意的超级人工智能，而在于 Roko's Basilisk 这个想法本身

如果所有人都没有听说过 Roko's Basilisk 这个点子，那么也就没有人会有意的因为受迫于这个尚未出现的超级人工智能的跨时空勒索，而为 Basilisk 的出现添砖加瓦。

但是现在 Roko's Basilisk 这个想法被提出来了，并且被人看到了。这个想法本身的出现，其实就是提高了 Basilisk 出现的概率，因为有些人可能真的会相信这个想法背后的一切假设。

某种意义上，Roko's Basilisk 这个思想实验的出现，是一个自我实现的预言，而这个预言的结果并不美好——这也是为什么当时 LessWrong 的管路员认为这种想法很危险，而把采取了不留情面的删帖。

回到马斯克和他的新女友吧

马斯克和格里姆斯对于 Roko's Basilisk 这个想法都是采取了看滑稽的态度，认为它很荒谬。

格里姆斯三年前在 MV 里面创造了 Rococo Basilisk 这个角色；而马斯克今年想发个内容是“Rococo Basilisk”的推特的时候，发现居然三年前就有人想出了这个梗。

于是马斯克联系上了格里姆斯，然后这个世界上唯二了解，并且独立创造出了这个梗的两人，开始了一段恋情。

于是就有了文章开头的照片。

对了，你们有没有注意到，照片里格里姆斯带的项链居然是个特斯拉的车标？

[Chihaya0824]

有人来一个 tldr 吗

[AoEiuV020]

太长不看，没发现照片，

[Chihaya0824]

下文章开头的照片好像没发出来

[tanhui2333]

《刚刚！世界首富马斯克宣布第四次分手》 --2021 年 9 月 25 日

[YUyu101]

省流版：马斯克和格里姆斯因为想到了同一个梗开始了一段恋情

[xiaojianghu]

看了一半，感觉这不就是拉普拉斯妖吗，但是拉普拉斯妖是不存在的，外星人电脑的预测对结果没有任何指导意义，感觉故事的前提是有问题的

[rjagge]

https://tech.ifeng.com/a/20180510/44988152_0.shtml 网上一搜一大堆，我表示无感，对楼主的 copy paste 且不带图的行为表示强烈抵制

[wangkun025]

看完了，没觉得有任何特别的。
PS：来自哲学系毕业生。

[0TSH60F7J2rVkg8t]

原文让我知道了 LessWrong 这个网站，正好搜了下 Roko's Basilisk，看到一篇讨论，很有意思：
https://www.lesswrong.com/posts/3mufsY2XMTi9HAeXo/what-happens-if-we-reverse-newcomb-s-paradox-and-replace-it

另外，这个思想实验的前提是能发生时间倒流，也就是未来的 AI 能回到现在。这个思想时验的矛盾也在这里，如果可以从未来回到现在，那它必然已经知道你的选择；因为在它的时间线上，你的选择已经确定；如果不能从未来回到现在，那这个思想实验的所有讨论前提就消失了。

[JamesR]

有趣，不过可以写简单点，不用这么长。

[doveyoung]

呃，是我没 get 到点吗，这不是所有时空类的套路经常讨论的吗……有什么稀奇。。。

[Cabana]

👎

[qsmd42]

"最近，钢铁侠埃隆马斯克(Elon Musk)带着自己的新女友出现在了公共场合"
不是孩子都生了 现在都分居了吗 啥最近啊...

[yunhu]

不是我原创的

原文链接： https://mp.weixin.qq.com/s/QAPH9ajBwi2YxI_dNIyW1w

[yunhu]

@rjagge 啊这，复制是复制，我是为了讨论，带图不带图无所谓了。

[yunhu]

@ahhui 你好不用时间倒流啊，他只是用你的意识来折磨啊。

[yunhu]

@doveyoung 哪个时空电影小说讨论过自我实现的预言？欢迎举例

[yunhu]

@wangkun025 看来你的哲学学的挺好的

[yunhu]

@JamesR 不是我原创的

[yunhu]

@xiaojianghu 当做科幻故事读啊

[yunhu]

@rjagge 有些人不知道啊

[yunhu]

@xiaojianghu 预测对结果没有意义吗？ 前些年有篇文章火了，说国庆有多少万人挤进杭州西湖，后来劝退了太多人去杭州的想法，导致那一年人流量比往年少很多。

[yunhu]

@qsmd42 老文章了

[nu11ptr]

人工智能的超时空勒索：图片验证码

[yunhu]

帕斯卡的赌注：理性的个人应该相信上帝存在，并依此生活。因为若相信上帝，而上帝事实上不存在，人蒙受的损失不大；而若不相信上帝，但上帝存在，人就要遭受无限大的痛苦（永远下地狱）。

[yunhu]

@nu11ptr 没看太懂

[xiaojianghu]

@yunhu #22 我的意思是这种预测是根据之前的信息作出的推断，是概率问题，预测结果只是大概率事件，不完全对结果负责，因为预测者没有独立于环境存在。

[xiaojianghu]

@yunhu #22 你讲的这个例子就很能说明问题，预测结果本身就会不同程度上的影响到预测结果。

[pkoukk]

如无必要，勿增实体
一剃刀给你刮了

[yunhu]

@xiaojianghu 是，预测结果可能是统计学上面的。

[yunhu]

@pkoukk 你赢了，无敌了。

[icylogic]

@Livid 全文转载

[SimonOne]

马斯克与女友分手 情史精彩到好莱坞编剧都写不出来
N 软 2021-09-2520:07:33 来源: 环球时报
https://www.nruan.com/79850.html

[minamike]

我预判了你预判了我预判了…你的预判

[lakehylia]

时空穿梭，好像不是穿梭到原来的世界线了，而是一个平行宇宙。所以，预测的那个时候，是没办法验证预测结果的。如果要穿梭到未来验证，那就不是一个宇宙了。

[iceheart]

烧脑吗？海盗分金要比这个复杂一点吧？

[butanediol2d]

一千块还是零块不会对我的生活造成太大影响，我肯定选择赌一把（是不是太现实了一点🤪

[yunhu]

@iceheart 这是科幻，海盗分金是数学逻辑问题吧

[yunhu]

@butanediol2d 可以买彩票 赌一把

[laev]

“对整个宇宙进行了一次完全精确的模拟” 这个假设大概也是成立不了，能达到这个程度我愿称之为造物主

[yunhu]

@laev 当做科幻故事读

[2i2Re2PLMaDnghL]

这也能烧脑？那你的脑子大概是白磷做的。

作为（决定论与自由意志的）相容论者，感觉这故事非常有趣和实在，一点也不恐怖。
如果你们说的自由意志是指人的意志不可被预测，那显然下一秒你们完全可能自己脑抽跑到马路中央被车撞死。
大概每半秒我脑子里都会诞生一些恐怖的想法，关于在马路上乱跑被撞死，关于月台地面突然倾斜让我掉进轨道被碾平，关于我掏把刀子把所有人给捅穿，关于

至于 4，则是更简单的一个公地悲剧。

[albertni]

带“全知”、“全能”的故事 9 成 9 都不符合人类能接受的“逻辑”，笑一笑就行了，没有严格讨论的价值。