Google和牛津大学新论文称人工智能的威胁比以前认为的要大

牛津大学和Google Deepmind的研究人员在一篇新论文中分享了一个令人心寒的警告。这篇论文上个月发表在《AI杂志》上，声称人工智能的威胁比以前认为的要大。事实上，它是如此之大，以至于人工智能很可能有一天会崛起并消灭人类。



人工智能令人印象深刻。它可以在电影中模拟瓦尔·基尔默的声音，并多次帮助研究人员解决复杂问题。不过现在，研究人员提出，人工智能的威胁比我们想象的要大。

研究人员在8月底发表了他们的研究结果。根据该论文，人工智能的威胁可能会根据研究人员确定的一系列条件而改变。这也不是研究人员第一次将人工智能视为一种可能的威胁。但这篇新论文耐人寻味，因为它所研究的假设是合理的。

在这些假设中，研究人员认为，“人工智能干预提供奖励会产生非常糟糕的后果，”该论文的作者之一Michael Cohen本月发推文说。Cohen说，研究人员确定的条件表明，出现威胁性结论的可能性比以前的任何出版物都要强。



此外，该团队表示，人工智能的威胁是建立在存在性灾难的基础上的。而且，这不仅是可能的，而且是非常可能的。Cohen和其他研究人员指出，最大的问题之一是，总是可以对一个问题投入更多的精力，使其达到人工智能所做的奖励的程度。因此，它可能使我们与机器产生矛盾。

“简而言之，”Cohen在推文中写道，“就是总是可以采用更多的能量来提高摄像机永远看到数字1的概率，但是我们需要一些能量来种植食物。这使我们不可避免地与一个更先进的代理竞争。考虑到这一点，听起来似乎人工智能的威胁可能会根据它的教学方式而改变。”

Cohen在这里提到的数字是基于一个测试，迫使人工智能代理达到某个数字。而且，一旦它被证明有办法做到这一点，它可以使用更多的能量来优化达到这个目标。这是一个耐人寻味的命题，也说明了为什么这么多人担心人工智能的威胁。

很明显，论文中提供的例子并不是唯一可能的结果。而且，也许我们可以找到一种方法，让机器受到控制。但是，这项新研究确实提出了一些问题，我们到底要在多大程度上信任人工智能，以及如果发生生存灾难，我们可以如何控制它。