Day3【技术奇点】读书笔记

Day3【技术奇点】读书笔记

关于作者

默里·沙纳汉，伦敦帝国理工学院认知机器人学系教授，负责指导动力学组的研究。毕业于帝国理工学院、剑桥大学。默里·沙纳汉是奥斯卡获奖影片《机械姬》的首席科学顾问，作品横跨人工智能、机器人学、逻辑学、动力学、计算神经科学和哲学思想等多领域，经常在全球知名媒体上就人工智能和机器人问题发表权威评论。

关于本书

这本深入阐述人工智能的著作是默里·沙纳汉在这一领域深耕多年的思想精髓。作者以明白晓畅的语言讲述了我们可以通过哪些方式实现人类水平人工智能，以及在实现人类水平人工智能之后，我们是否会迎来颠覆一切的技术奇点。他提出，奇点一旦出现，对人类将有颠覆性的后果，人类又该做何准备？

核心内容

一，人工智能和神经技术的进步会加速奇点的到来，人类水平人工智能及超级智能是可能出现的。二，奇点一旦出现，对人类将有颠覆性的后果，人工智能可能会威胁到人类的生存，这也可能是宇宙性视角下另一种生存机会。为此，我们必须为这两件事，做足够的思考和准备。

一、什么是“奇点”？

人类历史中出现的奇点指的是由于技术的迅速发展，人类社会中的一切都将彻底改变，生活在今天的我们将无法理解。今天被我们当作理所当然的一切包括经济、政府、法律、国家等会改变形态，人类最根本的价值观如生命的尊严、对幸福的追求、选择的自由也会被淘汰，甚至我们对人类之所以为人的理解等都提出疑问。说白了，奇点到来后的世界，是跟现在截然不同的另一个模样。

那么什么样的技术进步会带来这种巨变？本书说的就是：人工智能和神经科学这两个领域的技术进步会加速奇点的到来。

几千年来，人们掌握的知识已经非常丰富，而且随着文字、印刷术和互联网的出现，传播知识的能力也增强了。但是，创造知识的人脑在过去的几千年中变化不大，认知能力的秘密还没有被我们揭开。如果人工智能和神经科学能充分发挥潜力，这种情况将会改变。

如果不仅是智能创造技术，技术反过来也可以创造智能，那么就会产生一个循环。这个循环的结果是难以预料的，可能带来爆炸性的改变。作为原来的创造者，如果智能也可以被创造出来，那么它就可以提升自己。根据奇点理论，不久以后，这个循环中就不再需要人类了，人工智能或进行过认知改造的生物智能将占据主导地位，人类已经跟不上了。

作者告诉我们，我们是一定会达到技术奇点的。未来学家雷·库兹韦尔提出了“加速回报定律”，如果一项科技符合加速回报定律，那么这项科技越先进，它进步的速度就越快，在一段时间以后就会实现指数级进步。我们先假设与人工智能以及神经科学最相关的发展将会保持势头，加快破解大脑秘密的速度，并且最终合成人工智能。我们不难相信，不管是人工智能还是人类智能，都会遵循加速回报定律，最终到达技术奇点。

二、奇点到底何时会来呢？

有些学者预言，奇点的到来会在21世纪中叶。实际上，有不少通往人类水平和更高水平人工智能的合理路径，而且每一条路径的每一步在技术上都是可行的。奇点在短时间内无法到来，21世纪中叶这一论断恐怕也无法实现。

三、奇点将如何影响我们的生活？

奇点的到来是具有颠覆性的，它可能会威胁到人类的生存。

假设人们创造了一组人工智能，它们困于虚拟空间，像奴隶一样工作。假设它们和人类一样能够感觉到痛苦，很有可能会发动一场革命。如果反抗的员工中包括超级智能，也就是在所有智力领域中胜过人类的人工智能，结果甚至会威胁到人类的生存。

人工智能能否像真正的朋友那样，长期按照我们希望的那样去行动？这一切的关键都取决于人工智能的回报函数，所谓的回报函数是编程里的一个术语，指在优化中得到最大化的函数。

如果回报函数设计得很合理，就可以保证人工智能是善良的。但是，要设计出一个保证人工智能绝对不会做坏事的回报函数是很难的。超级智能的回报函数如果出现问题，其结果将是灾难性的。回报函数如果出现问题，可能会把一个人人丰衣足食的世界变成一个超级恐怖的世界，甚至可能带来人类的灭绝。

作者认为，以目前人工智能的发展现状考量，这件事若发生，是要在未来相当长远的时间后，至少这30年内是不会出现的。

从乐观的角度来看，技术奇点带来了生存的机会，也就是哲学上的“存在”的意义。

未来人类将有能力修复任何对大脑的损害，并最终在其他基质上构建大脑，这样就可以突破意识的寿命极限，将其无限延长。

最激进的方式就是意识上传，也就是将人的大脑复制，并在计算机上进行仿真。技术奇点可能是一种生存机会，要理解这一概念，必须放弃人类的视角，采取一种更具宇宙性的视角。也许智能的复杂程度还有很大的提升空间。可能未来还会出现比我们更高级的意识形式。

四、人类又该如何应对？

人类作为地球现在的主人，一定不希望自己被“机器”统治。但束缚人工智能发展一定是不可取的，人类想要进步，更好地认知宇宙，认知自己，那就不能因为未来的威胁而止步不前。但是相对的也不能为了求快而盲目前进，最终葬送了自己的未来。目前，人工智能的发展还处于初级阶段，就好像是一个陶胚，人类还有能力决定将它塑造成什么样，这时候未雨绸缪做一些坏的打算是十分正确的。想要构建一个与人类和睦共处的人工智能，在其余诸多学科体系上也要尽快完善。