读人工智能全传10深度思维.png

1. 深度思维

1.1. DeepMind

1.1.1. 深度思维

1.1.2. 2014年的员工不足25人

1.1.3. 深度思维公司公开宣称其任务是解决智能问题

1.1.4. 2014年谷歌收购DeepMind，人工智能突然成了新闻热点，以及商业热点

1.1.4.1. 收购报价高达4亿英镑

1.1.4.2. 深度思维是人工智能领域最引人注目的收购

1.2. 科技公司都争先恐后投入这个领域，生怕被历史车轮甩落

1.2.1. 2015年，优步公司从卡内基-梅隆大学机器学习实验室揽获了至少40名研究人员

1.3. 雅达利游戏系统

1.3.1. 基于早期的雅达利2600系列游戏机

1.3.2. 1980年前后的产品

1.3.3. 最早获得成功的视频电子游戏平台之一

1.3.4. 它支持210×160像素网格的大分辨率视频，支持128位颜色

1.3.5. 用户通过一个带单独按钮的操作杆进行操作，游戏机使用插卡式游戏卡带

1.3.6. 深度思维用的游戏卡带一共有49个游戏

1.4. 深度思维的程序根本没有任何关于游戏的知识，程序得到的唯一信息是出现在游戏机屏幕上的图像(以210×160彩色像素网格的形式)和游戏的当前分数

1.4.1. 程序没有得到诸如“对象A在位置(x， y)上”之类的信息

1.4.2. 任何类似的信息都需要程序从原始的视频数据中自己提取

1.4.3. 程序通过强化学习自学玩游戏：反复玩同一个游戏，在每个游戏中进行实验并获得反馈，并学习哪些行为会得到奖励，而哪些不会

1.4.4. 雅达利游戏程序学会了游戏卡带中的29个游戏，表现出高于人类玩家平均水准的能力

1.4.4.1. 在某些游戏里面，它甚至达到了超人的水准

1.5. 他们所做的是写一个程序，让它学习如何比人类更会玩全部49个雅达利游戏中的29个

1.5.1. 程序接收到的唯一输入就是屏上显示的东西，以及分数

1.6. 玩打砖块游戏

1.6.1. 程序了解到，最有效率得高分的方式是在砖墙的一侧“钻”一个洞，让球打进去，这样球就会在砖墙和顶部屏障之间快速反弹，迅速消灭砖块，而玩家可以不用额外操作什么

1.6.1.1. 它是由程序自主学习的

1.7. 蒙特祖玛的复仇

1.7.1. 程序玩得特别糟糕的游戏

1.7.2. 它的难点在于奖励非常稀少

1.7.3. 玩家在获得奖励之前必须执行一系列复杂的任务

1.7.3.1. 这一点与打砖块这种游戏不同，在打砖块游戏中奖励反馈或多或少都是即时的

1.7.3.2. 如果奖励反馈在相关行动执行后很长时间才出现，就会给强化学习带来困难

1.7.3.2.1. 你可能不清楚是哪些行为导致了奖励的发生

1.8. 如果雅达利游戏程序是深度思维团队唯一完成的东西，那也足够让他们在人工智能的历史上留下令人尊重、浓墨重彩的一笔，但是，该团队随后又取得了一系列惊人的成就

1.8.1. 深度思维的工作，从他们的雅达利游戏机到AlphaZero，代表了人工智能领域一系列非凡的突破性成就

2. AlphaGo

2.1. 可能仍然是迄今为止最著名的人工智能系统

2.2. 使用了两个神经网络

2.2.1. 价值网络只负责评估给定的棋盘位置的优劣程度

2.2.2. 策略网络则根据当前棋盘的状况评估下一步棋该放在何处

2.3. 策略网络包含13层，首先使用监督式学习进行训练，训练的数据则是人类的专业棋手下棋的棋谱

2.4. 然后进行自我对战的强化学习

2.5. 最后，这两个网络被嵌入一个复杂的蒙特卡罗树这一搜索技术中

2.6. 撇开表象深入挖掘，你会发现AlphaGo中最能体现智慧的工程都源自经典的人工智能搜索

2.6.1. 于20世纪50年代开发了跳棋学习程序的亚瑟·塞缪尔，他在理解AlphaGo使用的搜索技术时不会有任何困难

2.6.2. 从他的跳棋程序，到现代最引人注目的人工智能系统，都遵循着同一条发展路径

2.7. AlphaGo尽管在围棋方面表现优秀，但它只能下围棋，还必须事先学习许多人类专业棋手的棋谱

3. AlphaGo Zero

3.1. 它的非凡之处在于它是从零开始学习下围棋的，没有学习任何人类棋手的棋谱

3.2. 在没有人工数据干预的情况下，它达到了超越人类棋手的水平，而这一切，只是通过它自己和自己下围棋来实现的

3.3. 在结束9个小时的自我学习以后，AlphaZero能够在和鳕鱼系统对战中连续击败对方，最少也能保持平局

3.3.1. 鳕鱼系统是世界领先的国际象棋程序之一

3.4. AlphaZero似乎可以自学成才，并且适用于多种不同类型的棋类游戏

3.5. 结论

3.5.1. 尽管AlphaZero体现了令人印象深刻的通用性(它在棋类游戏专业的通用性方面超过了此前任何一个人工智能系统)，但它本身并不代表迈向通用人工智能的重大进步

3.5.2. 棋类游戏是相当抽象的,它们与现实世界相去甚远

4. 图像标注

4.1. 你对这幅图的理解是基于你在这个世界上作为一个人类存在的经历

4.2. 这样的理解对于标注机器人而言是不可能实现的，因为它没有这个基础

5. 自动翻译

5.1. 将一种语言自动翻译成另一种语言，是过去十年中因为深度学习技术而快速进步的另一个领域

5.2. 自动翻译工具能做到什么，又不能做到什么，有助于我们理解深度学习的局限性

5.3. 谷歌翻译可能算是最著名的自动翻译系统了

5.4. 关键就在于，你仅仅是懂得法语并不代表就能做好普鲁斯特小说的翻译

5.4.1. 关于20世纪初期法国社会和法国人生活的知识

5.4.1.1. 你得知道他们使用蜡烛照明

5.4.2. 法国历史的知识

5.4.2.1. 你得知道弗朗索瓦一世和查理五世之间的斗争史

5.4.3. 20世纪早期法国文学常识

5.4.3.1. 当时的写作风格，还有作者可能引用的典故

5.4.4. 对普鲁斯特本人的了解

5.4.4.1. 他最想表达的是什么

5.4.5. 需要你有大量的背景知识，谷歌翻译所使用的神经网络里可没有这些知识

5.5. 我们必须消除明确表示知识的世界和深度学习以及神经网络的世界之间的隔阂

6. 学界

6.1. 机器学习领域的两件学界大事是神经信息处理系统(NeurIPS)会议和国际机器学习会议(ICML)

6.2. 机器学习研究领域的许多人根本就不把自己视为“人工智能”的一部分

6.3. 不管分裂的起源是什么，事实就是，在某种程度上，机器学习研究领域的许多人脱离了主流人工智能，沿着自己的轨迹发展