AI先驱Geoff Hinton访谈：“深度学习将能够做所有事情”

• 关于AI领域的空白：“必须有很多概念上的突破……我们还需要大规模增加规模。”
• 关于神经网络的弱点：“神经网络出奇地擅长处理数量很少，参数众多的数据，但人本身却是可以做的更好。”
• 关于我们的大脑如何工作：“大脑内部是这些神经活动的重要载体。”

现代AI革命始于一场不起眼的研究竞赛。那是2012年，一年一度的ImageNet竞赛的第三年，该竞赛要求团队构建能够识别1,000种物体（从动物到风景再到人）的计算机视觉系统。

在最初的两年中，最好的团队甚至未能达到75％的准确性。但是在第三次中，由三位研究人员组成的团队（一位教授和他的学生）突然超过了这个上限。他们以惊人的10.8个百分点赢得了比赛。那个教授是杰弗里·欣顿（Geoffrey Hinton），他们使用的技术称为深度学习。

自1980年代以来，Hinton实际上就一直在从事深度学习的研究，但由于缺乏数据和计算能力，其有效性受到了限制。他对这项技术的坚定信念最终带来了可观的收益。ImageNet竞赛的第四年，几乎每个团队都在使用深度学习并获得了惊人的准确性。很快，将足够的深度学习应用于图像识别以外的任务，以及广泛的行业中。

去年，因在该领域的杰出贡献，Hinton与其他AI先驱Yann LeCun和Yoshua Bengio一起获得了图灵奖。10月20日，我在麻省理工学院技术评论的年度EmTech麻省理工学院会议上与他交谈，谈到了该领域的现状以及他认为下一步的发展方向。

您认为深度学习足以复制所有人类智能。是什么让您如此确定？
我确实相信深度学习将能够做所有事情，但是我确实认为必须有很多概念上的突破。例如，在2017年，Ashish Vaswani等人。引入了转换器，这些转换器可以导出代表单词含义的非常好的矢量。这是一个概念上的突破。现在，几乎所有最佳自然语言处理都使用了它。我们将需要更多这样的突破。

如果我们有这些突破，我们是否能够通过深度学习近似所有人类智力？
是。与如何获得神经活动的大向量来实现诸如推理之类的方法有关的突破尤其明显。但是我们还需要大规模增加规模。人脑大约有100万亿个参数或突触。我们现在所谓的真正大模型，例如GPT-3，有1,750亿个。它比大脑小一千倍。现在，GPT-3可以生成看起来很合理的文本，与大脑相比仍然很小。

当您说规模时，您是说更大的神经网络，更多的数据还是两者兼而有之？
都是。在计算机科学中发生的事情与人之间发生的事情之间存在某种差异。与获取的数据量相比，人们拥有大量的参数。神经网络出奇地擅长处理数量很少，参数众多的数据，但是人本身却做的更好。

该领域的许多人认为，常识是下一个要解决的大功能。你同意吗？
我同意这是非常重要的事情之一。我还认为运动控制非常重要，而深度神经网络现在正变得越来越好。尤其是Google最近的一些工作表明，您可以进行精细的电机控制并将其与语言结合使用，这样您就可以打开抽屉并取出一个积木，并且系统可以用自然语言告诉您它在做什么。

对于GPT-3之类的东西，它会生成出色的文本，很明显，生成该文本必须了解很多，但尚不清楚它能理解多少。但是，如果有东西打开抽屉并取出一个积木，并说：“我刚刚打开抽屉并取出了积木，”很难说它不明白它在做什么。

人工智能领域一直将人的大脑视为最大的灵感来源，而不同的人工智能方法源于认知科学的不同理论。您是否认为大脑实际上是在构建表示外部世界的表述来理解它，还是只是一种有用的思考方式？
很久以前，在认知科学领域，两个思想流派之间存在一场辩论。一个是由斯蒂芬·科斯林（Stephen Kosslyn）领导的，他相信，当您在脑海中操纵视觉图像时，所拥有的就是一排像素，并且您正在移动它们。另一种思想流派更符合传统的人工智能。它说：“不，不，这是胡说。它是层次结构的描述。您的脑海中有一个象征性的结构，这就是您要操纵的结构。”

我认为他们都犯了同样的错误。Kosslyn认为我们操纵像素是因为外部图像是由像素组成的，这是我们理解的一种表示形式。符号人们认为我们操纵符号是因为我们也用符号表示事物，这就是我们理解的表示。我认为这同样是错误的。大脑内部是这些神经活动的重要载体。

有些人仍然相信符号表示是AI的方法之一。
绝对。我有像赫克托·莱维斯克（Hector Levesque）这样的好朋友，他非常相信象征性的方法，并在其中做得很好。我不同意他的观点，但是象征性的尝试是完全合理的。但是我的猜测最终是，我们将意识到符号仅存在于外部世界中，并且我们对大向量进行内部运算。

您认为对AI的未来最反对的观点是什么？
好吧，我的问题是我有这些相反的观点，然后五年后，它们成为主流。我从1980年代以来的大多数逆势观点现在都已被广泛接受。现在很难找到不同意他们的人。是的，我的逆势观点已经被破坏了。