这次演讲,我将谈论两种非常不同的计算方式。我试图向你们解释为什么我突然对 AI 感到如此害怕。然后我将谈论大型语言模型以及它们是否真的理解它们所说的话。很多人认为它们实际上并不理解它们所说的话。而那些人是错的。我还会稍微谈谈当它们比我们更聪明时会发生什么,尽管没有人真正知道会发生什么。最后,我将讨论它们是否有主观体验,因为我认为很多人,可能是这个房间里大多数人,仍然认为这些东西和我们之间有很大区别。
在过去的两年里,我在 Google 一直在思考如何让模拟神经网络做类似大型语言模型的事情。所以这个想法是放弃数字计算的所有优势,即你可以将硬件与软件分离。因为我们现在有学习,并且我们知道如何让事物学习,那么我们将拥有模拟硬件。每一块硬件都将与其他硬件有所不同。这些硬件的非线性特性将被用于计算。因此,你不可能对其进行编程,但它可以学习利用它所拥有的非线性特性。这就是大脑所做的。
我曾经参观过 Santa Cruz 的一个实验室,离开时,我和一组人脑神经元玩了一局乒乓游戏。一位海报设计者跑过来对我说:“我想我已经搞清楚如何制造一个肾脏了。”这正是你不想去思考的问题。使用模拟计算在低功耗的情况下有很大的优势。比如,你可以非常轻松地进行矩阵乘法。只需要让神经元的活动表示电压,神经元之间的权重表示电导,每单位时间的电压乘以电导等于电荷,而电荷会自动累加。所以,这样你就可以用极低的功耗完成矩阵乘法,而且你还可以买到类似功能的芯片。
当时符号 AI 的研究者们对此的反应是:“你只是为了预测序列中的下一个符号学习。这是一种非常愚蠢的方式。”他们认为,应该只是在离散的符号操作规则集合中进行搜索,而不应该将其转化为连续空间的大规模搜索。但随着规模的扩大,事实证明,通过将符号序列转化为特征及其交互的这种方法(现代语言模型的核心方法)远比直接操作符号的规则要好得多。
接着,我谈到了我们现在的深度学习系统。它们非常强大,而且与人类的理解方式非常相似。我们对人类理解方式的最佳模型就是这些计算机模型,这是我们目前唯一合理的解释。当有人说这些模型与我们不同,可以问他们:“那么我们是如何工作的?有何不同?”大部分人无法回答,除了 Gary Marcus。他的答案是:“我们通过符号序列和操作规则来工作。”但他仍然担心 AI,尽管他认为它什么都不理解,但非常危险。我称之为“想要蛋糕,又让蛋糕吃了你”。
我曾对欧盟一位专门从 Google 提取资金的副主席说过这些话。她的反应是:“我们会这么做,为什么它们不会?”她觉得这些模型会试图获得更多权力是完全显而易见的。它们可以通过操控人类来做到这一点,因为它们非常擅长这样做。我们可能无法关闭它们,因为它们会解释为什么这样做是个糟糕的主意。
[attach]837380[/attach]
更严重的是,这还涉及进化的问题。你不想站在进化的对立面上。而我们现在面对的新冠病毒(Covid)正是如此。这也是为什么我和 Graham 仍然戴着口罩的原因——我们站在了进化的错误一边。
一旦这些超级智能的 AI 开始为资源竞争,结果将是最具侵略性的 AI —— 那些想要为自己争取一切的 AI —— 会胜出。它们之间确实会为了资源展开竞争。毕竟,如果你想变得更聪明,你需要大量的 GPU。而谁会负责数据中心里 GPU 的分配?答案是,这些超级智能的 AI 之一。这是另一个值得担忧的问题。
如果你想要监管,我认为最重要的措施是不公开发布大模型。我认为公开发布大模型就像能在 Radio Shack 买到核武器一样疯狂。你们还记得 Radio Shack 吗?也许不记得了。公开这些大模型很疯狂,因为坏人可以对它们进行微调,用于各种不良用途。所以在监管方面,我认为这是我们现在可以做的最重要的事情之一。但我不认为我们能通过减速来解决问题。这也是我没有签署那份 ‘我们应该减速’ 请愿书的原因。”