强人工智能之路 Part II 蓝图

本文摘自《为什么》这本书的最后一章，Pearl 介绍完了人工智能的过去和现状之后，给出了一个实现强人工智能的展望和蓝图，他认为教会机器理解因果，让机器拥有自由意志，从而通过“小图灵测试”是当前实现强人工智能一条路径。本文编译：龚鹤扬。

1） 会因果推断的AI是什么？

当我们开始谈论强人工智能时，因果模型就从奢侈品变成了必需品。对我来说，强人工智能应该是能反思其行为，并能从过去的错误中吸取教训的机器。也就是说它能够理解“我本应该采取不同的行为”这句话，无论这句话是由人类告诉它的还是由它自己分析得出的。用因果理论反事实语言来翻译一下就是：“我做了 X=x，得到的结果是Y=y。然而，假如我之前采取了不同的行动，比如说 X=x', 结果本应该会更好，也许是Y=y'”正如我们看到的那样，当我们有足够的数据和一个充分且具体的因果模型时，就能够估计这样事件的概率。（注意这样的事件 X=x' 并没有在现实世界中发生， 所以我们也称“反事实”，相关事件的推理称为反事实推理。）

事实上，我认为机器学习的一个非常重要的目标就是得到更简单的概率 P(YX=x′=y′|X=x)， 其中 X 的观测值为 x', 而Y未被观测，此时，该概率就是通过干预使得事件发生的情况下得到某个结果的概率。如果机器能计算出这个概率，它就可以将它自己的某个计划执行（但还未执行）的行动视为一个观察到的事件 ，同时提出问题：“如果我改变主意，取而代之做出的行动结果会怎样？”这个表达式在数学上等同于 effect of treatment on the treated，我们能找到很多的研究结果来估计这个概率。

意图是个人决策的重要组成部分。倘若一个已经戒烟的人突然想点上一支烟，他应该非常认真地思考想抽烟的原因，并且问问自己是不是不吸烟更好，并用它作为因果推理的证据，感知到自己意图，并用它作为因果推理的证据，具备这一能力意味着拥有了自我意识，而现在任何 AI 都不具备这个能力。我希望看到AI能被诱惑然后它自己有说“不”的能力。

任何关于意图的讨论都将涉及强人工智能的另一个重要问题：自由意志。如果我们要求机器首先产生做某件事的意图，然后在觉察到自己的这个意图之后，并且选择去做这件事，我们就相当于是在要求 AI 拥有自由意志。但是，如果 AI 只会遵循存储在程序中的指令，那么它怎么会有自由意志呢？

2）人拥有自由意志吗？

伯克利大学的哲学家 John Searle 将自由意志问题称为“哲学上的丑闻”，一是因为这个问题的研究一直毫无进展，二是因为我们不能把它当作一种光学幻象避而不谈。我们关于“自我”的整个概念都是以我们有选择作为前提的。例如，我有一个选择（比如，摸或者不摸我自己的鼻子），我可以清晰而不可置否的感受到可以做出这个选择，这个和我所理解的因果决定论矛盾：我的所有行动都是由大脑释放的神经信号引发的。

随着科学的进步，许多哲学问题已经消失了，而自由意志仍然保持着当初的神秘，与其在 Aristotle 和 Maimonides 的时代的形象没什么两样。此外，虽然在精神或神学的某些层面，人的自由意志的合理性曾得到过证明，但这些解释并不适用于一台由程序控制的机器。所以，任何宣称解释并不适用于一台由程序控制的机器。所以，任何宣称其所研发出的 AI 拥有自由意志一定是在制造噱头——至少传统观点是这么认为的。

并非所有的哲学家都相信自由意志和决定论之间存在冲突。还有一派被称作“兼容并包者”（我自己就是其中一员），他们认为二者只是这种明显冲突是在不同层面上的：在这神经层面上，过程看起来是决定性的（暂且不考虑量子不确定性的问题）；而在认知层面上我能能够清晰的感受到能够自主选择。这种明显冲突在科学中并不少见。例如，物理方程在微观层面上具有时间可逆性，但在描述的宏观层面上则不可逆转，比如烟雾永远不会回流到烟囱里。但这又引发了新的问题：假设自由意志是（或者可能是）一种幻觉，那么为什么对我们人类来说拥有这种幻觉如此重要？为什么我们会进化到拥有这个幻觉？不管是不是在制造噱头，我们是否应该尝试着让下一代 AI 拥有这种幻觉？这样做的目的何在？它带来了哪些计算优势？

我认为，作为“兼容并包者”，理解自由意志幻觉的功能是解开它如何才能与“决定论”相调和这一深奥谜题的关键。而一旦我们赋予一台确定性机器同样的功能，问题就会迎刃而解。

注意：“决定论” 认为自由意志不存在，而“兼容并包着” 认为自由意志在认知层面上是存在的。

3）如何模拟自由意志？

除了功能问题，我们还必须处理模拟问题。如果是大脑中的神经信号引发了我们所有的行动，那么我们的大脑就一定会忙于用“想要”或“有意”来描述某些行动，而用“无意”来描述另外一些行动。那么，这个贴标签的过程到底是什么？什么样的神经路径会得到带有“想要”标签的特定信号？

在许多情况下，人的自发行为都会对应着短期记忆中的某条痕迹，而这个痕迹就反映了背后的目的或动机。例如，“你为什么这么做？”“因为我想打动你。”或者，就像夏娃在伊甸园给出的回答：“蛇欺骗了我，我就吃了。”但也有许多其他的情况下，我们采取了有意的行动，却没有什么理由或动机。对行动的合理化可能是一个事后重建的过程。例如，一个足球运动员也许能够解释为什么他决定把球传给 Joe 而不是 Charlie，但这些原因几乎不可能有意识地触发了他的这一行动。在球赛最激烈的时候，数以千计的输入信号都在抢占运动员的注意力。我们要做出的关键的决定是哪些信号需要优先处理，而决定背后的原因往往很难回忆和阐明。

目前，AI 研究者正试图回答这两个问题，即功能问题和模拟问题，其中前者驱动了后者。一旦认识到自由意志在对于人类发挥了怎样的计算功能，我们就可以给 AI 配备这样的功能。如此，这两个问题就被转化为一个工程问题，虽然解决这一工程问题仍然非常困难。

4）自由意志的功能？

对我来说，功能问题的某些方面非常清晰。自由意志的幻觉使我们有能力谈论我们的意图，同时也允许我们使用反事实推理，让我们的意图服从于理性思考。当教练把我们从足球比赛中拉出来，对我们说“你本应该把球传给 Charlie” 的时候，不妨想想这几个字所内含的复杂含义.

我认为，如果能够设计出就像拥有自由意志一样可以相互沟通的机器人，让它们组成一支球队，我想它们一定会踢得更好。无论单个机器人的足球技术有多高超，只要它们能够互相交谈，仿佛自己并不是被安装了预置程序的机器人，而是相信自己是有选择权的主体，那么它们的团队表现一定会有所提高。

自由意志的幻觉是否能增强机器人之间的交流尚待考察。但我们相信它会帮助人机交流。为了实现与人类的自然沟通，强人工智能必须理解关于选择和意图的词汇，而这就需要它们拥有自由意志的幻觉。正如我上文所解释的，机器人也可能发现“相信”自己拥有自由意志的好处，就是能够觉察到自己的意图继而“选择”另一种行动。

5）智能体蓝图

一方面，理解人的观点、意图和需求的能力一直是人工智能领域的研究者面临的一项重大挑战，这一能力也界定了“智能体”这个概念。另一方面，哲学家将对这类能力的研究作为经典的意识问题的一部分。已经有几代精英科学家探索着“机器可以有意识吗”或“软件智能体和普通的程序的区别是什么”这类问题，在此我也不会假装自己能够给出这类问题的完整答案。

但我相信，反事实的算法化是理解这些问题，将意识和智能体转化为可计算实体的重要一步。赋予 AI 所处环境进行一个符号表示的方法，以及赋予它想象该环境发生某种假想的微小扰动的能力，可以扩展到将 AI 本身作为环境的一部分。没有哪个机器能处理其自身软件的完整拷贝，但它可以拥有其主要组件的蓝图。这样，它的其他组件就可以使用该蓝图进行推理，从而模拟出一种具有自我意识的状态。

为了创造智能体的知觉，我们还必须给它配备记忆系统，以记录其过去行为，确保其在被问及“你为什么这样做”时有所参考。经过某些具有特定激活模式的行为可以得到一个合理的解释，例如“因为已证明另一种选择没有吸引力”；而另一些行为则只能得到推脱和无意义解释，诸如“我也希望我知道为什么”或“因为你就是这样给我编程的”。

总之，我认为，一个 AI 要拥有思考能力和真正智能，它至少包括3个组成部分：

1. 关于世界的因果模型；
2. 关于自身和环境交互因果模型，无论这个模型有多浅显；
3. 以及一个记忆系统，用于记录其自身意图和外部事件的对应关系。

这甚至可能正是我们人类婴儿期就开始进行的学习和理解因果的模式。我们的头脑中可能存在一个类似于“意图生成器”的东西，它告诉我们，我们应该采取某个行动 。但是孩子们喜欢试验，喜欢违抗父母、老师，甚至他们自己的意图，他们喜欢与众不同的东西，而这一切只是为了好玩。在十分清楚我们应该做某个行动的前提下，我们却为了好玩而选择做其他行动。我们会观察接下来发生了什么，然后重复这个过程，并记录我们的意图生成器有多好用。最后，当我们开始调整自己的软件模块时，那就是我们开始对自己的行为承担道德责任的时候了。这种责任在神经激活层面可能同样是一种幻觉，但在自我意识模块的层面上则切实存在。

受到这些可能性的鼓舞，我相信具备因果思维的强人工和智能体是可以实现的，而这又引发了科幻作家从20世纪50年代以来一直在问的问题：我们应该对此感到担忧吗？强人工智能是一个我们不该打开的潘多拉之盒吗？

6）AI 会毁灭人类吗？

最近，像 Elon Musk 和 Stephen Hawking 这样的公众人物已公开表示我们应该对此感到担忧。Musk 在推特上说，“AI 可能比核武器更危险”。2015年，John Brockman 的网站 Edge.org 推出了其年度问题：“你对会思考的 AI 有什么看法？”该问题收到了186个回答，既有经过了深思熟虑的，也有颇具挑衅性的，之后这些答案被汇编为一本书——《如何看待会思考的机器？》

Brockman 提出的这个刻意含糊表述的问题可以拆分为至少5个相关的问题：

1. 我们是否已经制造出了会思考的机器？
2. 我们能制造出会思考的机器吗？
3. 我们准备制造会思考的机器吗？
4. 我们应该制造会思考的机器吗？最后，引发大众焦虑的那个未被阐明的核心问题是：”
5. 我们能制造出有能力区分善恶的机器吗？”

除第一个问题的答案是否定的之外，我相信所有其他问题的答案都是肯定的。我们当然还没有制造出能像人一样思考的机器。到目前为止，我们只能在狭义的领域模拟人类思维，这些领域只涉及最原始的因果结构。在这些狭义的领域中，我们可以制造出比人类更出色的机器，这并不奇怪，因为这些领域关注的是计算机更擅长的事：计算。

如果我们将会思考定义为能够通过图灵测试，那么对第二个问题的回答就几乎百分之百是肯定的。我有这样的把握是建立在我们从迷你图灵测试中获得的经验上的。回答因果关系之梯所有三个层级上的因果问题的能力孕育出了“智能体”软件的种子，使机器思考自己的意图并反省自己的错误成为可能。回答因果和反事实问题的算法已经有了（这在很大程度上要归功于我的学生），只待勤奋的 AI 研究者来实现和应用这些算法。

第三个问题的答案当然取决于难以预测的人类事件。但从历史的角度看，在人类有能力做，或者已经掌握了相关制造技术的时候，人类很少选择选择不做或不制造。部分原因在于，无论是克隆动物还是把宇航员送入月球，很多事都是在真正做成了之后，我们才意识到我们在技术上有能力做到这件事。不过，原子弹爆炸是一个转折点，许多人因此认为我们本不应该发展这项技术。

自“二战”以来，一个很好的例子是1975年 Asiloma 会议关于科学家撤回 DNA重组技术的讨论，这项新技术被媒体视为对人类的威胁。这一领域的科学家设法就一系列合理的安全操作准则达成了共识，在随后的40年里，他们一直努力维护该协议的有效性并严格遵照执行。如今，DNA重组已经是一项常见的成熟技术了。

同样人工智能领域也有在2017召开了自身的 "Asiloma" 会议，商定了23项原则。值得注意的是有几条原则与因果密切相关。

基于下面我对第五个问题的答案，我对第四个问题的回答也是肯定的。我相信我们能够制造出有能力辨别善恶的机器，它至少应该和人类一样可靠，而且有望比人类更可靠。我们对道德机器的首要要求是它能够反省自己的行为，其涉及反事实分析。一旦我们编写完使机器实现自我意识的程序（无论其作用多么有限），我们就能赋予同理心和公平感，因为这些程序建基于相同的计算原则，只不过需要我们在方程中添加一个新的智能体。

在理念层面上使用因果构建道德机器的途径，与20世纪50年代以来科幻小说所热衷讨论的方法，即阿西莫夫的机器人定律，有着很大的不同。Isaac Asimov 提出了三大绝对定律，第一条就是“机器人不能伤害人类，也不能对人类个体受到伤害袖手旁观”。但是正如科幻小说反复展示的那样，阿西莫夫的定律总是会导致矛盾。对 AI 科学家来说，这并不奇怪：基于规则的系统最终总会出错。但这并不能说明制造道德机器就是不可能的，而是意味着我们不能使用规范性的、基于规则的方法去制造它，意味着我们应该为会思考的机器配置人类所拥有的那些认知能力，包括共情、远期预测和自制力，这样，它们就能够做出自己的决定了。

一旦我们制造出了道德机器，许多杞人忧天的观点就会随之消失，变得无关紧要。我们没有理由不去制造这种能比人类更好地分辨善与恶、抵御诱惑以及权衡奖惩的机器。在这一点上，就像那些国际象棋选手和围棋选手一样，我们甚至可以向自己所创造的事物学习。在未来，我们可以依靠机器来寻求明察秋毫、因果合理的正义，我们将进一步了解人类自身的自由意志“软件”的运作方式，以及它是如何对人类自身隐藏其工作原理的。这种会思考的机器将成为人类的良师益友，而这正是 AI 送给人类的第一份，也是最好的一份礼物。

更多阅读：关于因果推断的系列文章

因果推断和强AI-《为什么》第十章书摘

速读悖论，兼谈因果推断的重要性

让神经网络变得透明-因果推理对机器学习的八项助力

年度必读书-《为什么：关于因果关系的新科学》

从相关性到因果性-读《The book of why》。

Five questions about thinking machine

John Brockman’s website Edge.org posed as its annual question, that year asking, “What do you think about machines that think?” It drew 186 thoughtful and provocative answers (since collected into a book titled What to Think About Machines That Think). Brockman’s intentionally vague question can be subdivided into at least five related ones:

1. Have we already made machines that think?

2. Can we make machines that think?

3. Will we make machines that think?

4. Should we make machines that think? And finally, the unstated question that lies at the heart of our anxieties:

5. Can we make machines that are capable of distinguishing good from evil?

除第一个问题的答案是否定的之外，我相信所有其他问题的答案都是肯定的。我们当然还没有制造出能像人一样思考的机器。到目前为止，我们只能在狭义的领域模拟人类思维，这些领域只涉及最原始的因果结构。在这些狭义的领域中，我们可以制造出比人类更出色的机器，这并不奇怪，因为这些领域关注的是计算机更擅长的事：计算。