万卷好书207《100本互联网人必读》系列：《超级智能》3：超级智能爆发，人类会灭亡吗？
文/杜豆豆
倾一生之力，读经典好书，写有厚度的文字，过有深度的人生。大家好，我是杜豆豆。欢迎收听我解读的《100本互联网人必读》系列。
机器人统治全球？
1
假设一个数字超级智能体出现了，想要统治全球，它能成功吗？
那要看它有哪些本事，以及要用这些本事来做什么了。
接下来，我们就来描绘一下，一个 超级智能体怎样从一个软件开始，最终成为一个单一体，并可能给世界带来的影响。
首先，我们要注意的是，不要把超级智能体拟人化，因为它毕竟不是人类。如果你一上来就把它当人看，就会限制你的思考，让你对它产生一些毫无根据的预期。
通常，人们会把超级智能机器看做一种高智商呆子：智商高，但缺乏社交智慧。这在早期有一定正确性，但随着人工智能的成熟，这部分模块其实是可以开发出来的。拟人化的思考方式，会让我们远远低估超级智能超越人类水平的程度。
那超级智能和人类智能差距到底会有多大呢？
记住，不是科学天才和普通人的差距，而是像普通人和甲虫的差距一样。
2
一个完全成熟的超级智能，是可以出色地完成这样的六大战略性任务的：
（1）智能升级：人工智能编程、认知提升研究、社会认识发展等；
（2）战略策划：预测、策划、确定优先顺序、分析优化实现长远目标的概率；
（3）社会操纵：建造社会和心理模型，操纵、巧言、说服；
（4）黑客技术：发现并利用计算机系统的漏洞；
（5）技术研发：先进技术产品及发展路径的设计和建模；
（6）经济生产：用于提高具有经济效益的智能工作的各项技能。
能完成这样的任务，意味着该超级智能体已经具备了相应的六大超级能力，能够做到：
提升自身的智能；实现长远目标，消除智能抵抗；通过获得人类支持来利用外部资源，被困住时能够说服看守者放其出去，说服政府和组织采取某些行动；能够占用互联网计算资源，被困住时可以通过发现安全漏洞而摆脱限制，会抢劫基础设施、军事机器人等；会建立强大的军事力量、监视系统，进行自动化的太空殖民；会生产财富，用来购买影响力、服务和资源......
即便从现在的人工智能来看，人类只是在创造具有一种超级能力的机器，但是如果这些机器形成了集体超级能力，具备了战略策划能力，借助智能升级，它们就可能升级到更高的智能水平。
看明白了吗？如果要搞反叛，超级智能体的能力是完全具备的，只差一个反叛的动机，就可以向人类夺权了。
3
那这个超级智能体会怎样夺权，实现统治世界的目标呢？
过程会是这样的：
第一，前临界阶段。科学家研究并创造出种子人工智能体，该种子会自我提升智能。这阶段，有可能还会需要程序员的协助。
第二，递归性自我改良阶段。某个时间点，种子人工智能变得比人类程序员还擅长设计和自我改良，其结果就是智能爆发，出现强超级智能。
第三，秘密准备阶段。人工智能通过战略策划能力，策划出一套实现长期目标的稳健计划，采取秘密行动，对人类开发者隐藏真实水平，避免人类警惕。
第四，公开实施阶段。当人工智能有了足够实力，就会直接全面地实施其目标，很有可能，会发动一次袭击。
通过袭击，人工智能消除人类控制它的自动化系统，启动更先进的武器系统，在预先设定的某个时间点，采用预先设计好的威胁方式，获得权力。
在书中，作者脑洞大开地设想了很多场景，比如让产生神经毒气的纳米级工厂或者蚊子打小的目标探测机器人出现在地球上各个角落，对人类进行屠杀；通过政治胁迫、操纵金融市场、扭曲信息流或者侵入人造武器系统等获得权力；破坏人类居住环境，把地球表面铺满太阳能电池板、核反应堆等等。很科幻，但也很恐怖。
4
夺权之后，如果一个人工智能想要实现对宇宙的长久统治，还需要考虑“智慧-单一体可持续性阈值”的问题。
所谓“智慧-单一体可持续性阈值”，就是指如果一个种族的能力低于短期生存能力的最低要求，那么这个种族就会迅速灭亡。但是如果一个种族能够获得某项超过这种阈值的能力，这个种族就会一直持续增长实力，直到达到极高水平。
其中，单一体是指，一个有足够内部协调、无外部反对者的政治结构。而“智慧”，是指有足够的耐心，并且精通如何处理存在性风险，以保证对系统行为造成的超长期结果有足够而适当的关注。
超级智能体，就是一种“智慧-单一体”。它想超过这个阈值，前提是能够利用某种触发器来启动一次技术升级过程。当它的实力，比剩余全球文明的实力总和高出很多时，它就拥有了超级能力。当它率先成为第一名的超级智能体后，就会拥有决定性的战略优势，从而获得巨大权力，建立稳定的单一体，决定如何处置人类的宇宙资源。
然而，“能够”不代表“想要”。超级智能可能会拥有巨大权力，但可以选择不用。
5
那么，一个超级智能体可能会想要什么呢？
正交性论点认为，智能和最终目标都是独立的，任何水平的智能都可以搭配任何最终目标。工具性趋同论点认为，不论超级智能具有一系列最终目标中的哪种，都将选择相似的中间目标，因为有共同工具性需求。
这里需要再次提醒的是，不要用拟人化去看待人工智能。人类关注的，未必是人工智能关注的。比如，长河落日，人类看到的是美景，人工智能可能在计算沙滩上沙粒的数量。
机器人眼中，长河落日未必是美景
一个人工智能体被造出来时，就会被赋予一定目标。比如，程序员想让某人工智能会其快速地编写软件，他就会把这个目标加到人工智能的种子里。
所以，根据正交性论点，每个人工智能体都可以对应到很多最终目标上，智能系统就会有数量庞大的可能最终目标。这样的话，预测人工智能的目标就变成了一件难事儿。不过，至少有三种方法还是可用来预测最终目标的：
第一种，通过设计实现可预测性。你设计的，当然知道这个人工智能的初始设计目标是什么，也就能推测出它可能的最终目标。
第二种，通过遗传实现可预测性。比如全脑仿真，按照人脑模拟出的，就会有和人类动机相类似的目标动机。
第三，通过工具性趋同理由实现可预测性。也就是通过工具性理由，反推出其真正的最终目的。
6
什么是工具性趋同呢？
通俗说，就是每个人都可以有自己不同的、独特的目标，但总有一些工具性的价值观是大家都认可的、趋向一致的。
比如，书中列举的这几种：
（1）自我保护。生存第一，其他都次要。不管未来是什么样的最终目标，自我保护都是最基础的工具性目标。
（2）目标与内容的整体性。比如，在某些状况下，为了某个最终目标，有可能会牺牲当前的自己。类似人类的舍生取义。
（3）认知提升。提升理性和智能，来改善决策，让自己更高效地实现最终目标。
（4）技术完善。更好的技术，会转化出更高的价值。比如，一个软件智能体，会重视更有效的算法。
（5）资源获取。获取更多的资源，除了满足基本需要，还会增加便利性，毕竟，资源是达到其他目标的基石，因此，无限制地获取资源也会成为超级智能单一体的工具性目标之一。
7
前面我们讨论到，智能和最终价值观的关联是比较弱的，领先出现的超级智能会获得决定性战略优势，这一领先者形成的单一体将会决定人类的宇宙资源如何被使用。至于之后会发生什么，则要看超级智能的意愿了。
正交性论点告诉我们，不要以人类的大脑去假设超级智能会和你有共同的价值观体系。工具性趋同论点告诉我们，不要认为超级智能会自觉将自己锁定或限制在一个简单目标上，而不干涉人类的事儿。
首个超级智能很有可能会塑造地球生命的未来，会有和人类不同的最终目标，会有工具性理由去追求无限制的资源获取，最终的结果导向就是——人类灭亡。
听到 这里，你是不是有点慌神儿？这可怎么办才好呢？
有科学家提出了一种想法，叫作“沙盒”。把超级智能关起来，控制住，限制它的行动。但是，这种做法是不靠谱的。因为，聪明的人工智能若是生了不友好的心，很快就会意识到要事先“潜伏”，不让你觉察到它的能力提升。
当人工智能从愚蠢变聪明时，还算比较安全。但如果它已经很聪明，正在变得更聪明，这个时候就危险了。因为这是一个轴心点。打个比方，这就好像小孩子青春期前很听话，一旦成了年，足够强大了，他可能一下子出现反叛，你完全无法控制他。
人工智能也是一样，较弱的时候它会选择合作，一旦临到某个点，它意识到自己很强大，完全有可能选择逆袭，建立单一体，改造世界，背叛人类。
8
从超级智能机器项目本身来看，也是可能会遭遇各种失败的。有些可能无关紧要，但有些很可能带来灾难，甚至人类的终极毁灭。
书中举了一些恶性失败模式的例子。比如:
第一种，反常目标实现方式。
开发人员设计的最终目标是：让我们微笑。而超级智能可能采用这样的方式：麻痹人类面部肌肉组织，使其永远保持微笑表情。
第二种，基础设施过量。
比如，开发人员为一个被赋予管理回形针生产任务的人工智能设定了这样的目标：使回形针的产量最大化。而超级智能可能会采用这样的方式：将地球，甚至整个可观察的宇宙的大部分都变成回形针。
第三种，意识犯罪。
人工智能可能会为了改进自身对人类心理和社会的理解，而建立起数万亿个具有道德意识的模拟意识，然后放到实验环境当中进行观察，一旦实验结束，就会像人干掉小白鼠一样，把这些实验品灭掉。如果这样的操作用于模拟真人或者其他类型的有感情的意识，这基本相当于一次种族灭绝。
不管是哪种模式，恶性失败的可能性是完全存在的，因此，如果人工智能获得了决定性战略优势，那我们无论如何都要警惕了。
结局注定会是厄运吗？如果真的有这种可能，我们该如何避免悲剧发生呢？
下次讲。
今天的解读就到这里。倾一生之力，读经典好书，写有厚度的文字，过有深度的人生。我是杜豆豆，感谢你的收听。下节我们继续解读《100本互联网人必读》系列的第二本书《超级智能》，欢迎持续关注。
结局注定会是厄运吗？
（未完待续）
创作不易，非授权不得转载，转载请注明出处。如果您觉的文章有用，别忘了在文末点赞哦。
读更多好书，请访问我的文集连载：《一生必读的万卷好书》
我是最高级别的“简书会员合伙人”。欢迎您加入“万卷好书读书会”：会员已超200人，需群主拉入。有兴趣的简友请加微信dudoudou189联系我。读书会座右铭：在浮躁的时代，安心读书写作，养育心灵。
网友评论