上周，在一篇发表于迷信杂志《自然》（Nature）上的同行评议论文中，谷歌大脑（Google Brain）的迷信家们引见了一种用于布图规划的深度强化学习（deep reinforcement learning）技术，揭开了用AI“设计”芯片的序幕。
从过往的阅历来看，在芯片设计中运用软件并不新颖，各类EDA（电子设计自动化）早已成为是集成电路设计必需、也是最重要的软件工具。从仿真、综合到版图，从前端到后端，从模拟到数字再到混合设计，以及后面的工艺制造等，EDA 软件工具涵盖了 IC 设计、布线、验证和仿真等一切方面，是集成电路产业的“摇篮”。
但根据谷歌研讨人员的说法，此次新的强化学习模型“自动生成的芯片平面图在一切关键目的上都优于或可与人类制造的芯片平面图相媲美，包括功耗、功能和芯片面积。”而且它用时更少。
论文链接：https://www.nature.com/articles/s41586-021-03544-w
音讯一出，各路媒体蜂拥而至。一家媒体将其描画为“可以比人类更快地设计计算机芯片的人工智能软件”，并写道，“谷歌的新人工智能可以在不到6个小时的工夫里构想出一种需求人类数月工夫设计的芯片。”
另一家媒体写道：“人工智能为人工智能设计芯片的良性循环看起来曾经起步。”
但除了这类略带浮夸的描画和对芯片设计AI能系统复杂性的揭示外，人类和人工智能之间的协同作用也异样值得关注。
类比、直觉和奖励
该论文是这样描画这个成绩的：“芯片布图规划触及将网表放置在芯片画布（二维网格）上，以便优化功能目的（例如，功耗、时序、面积和导线长度），同时遵守密度和绕线拥塞方面的硬约束。”
基本上，你想做的是以最优化的方式放置组件。但是，像任何其他成绩一样，随着芯片中元件数量的添加，寻觅最佳设计变得愈加困难。
现有的软件有助于加快发现芯片陈列的过程，但是当目的芯片变得越来越复杂时，它们就显得力有不逮了。所以，研讨人员决议从强化学习处理其他复杂空间成绩（例如围棋游戏）的方式中汲取阅历。
研讨人员写道：“芯片布图规划相似于一个棋盘游戏，有不同的棋子（例如网表拓扑结构、宏数量、宏尺寸和长宽比）、棋盘（不同的画布尺寸和长宽比）和获胜条件（不同评价目的的相对重要性或不同的密度和绕线拥塞限制）。”
这是人类智慧中最重要和最复杂的方面之一的表现——类比（analogy）。
我们人类可以从我们处理的成绩中抽出笼统的东西，然后将这些笼统的东西运用于新的成绩。虽然我们以为这些技能是天经地义的，但正是这些技能使我们非常擅长迁移学习。这就是为什么研讨人员可以将芯片的布图规划成绩重新设定为一个棋盘游戏，并且可以用其他迷信家处理围棋游戏的方式来处理这个成绩。
深度强化学习模型特别擅长搜索非常大的空间，这在大脑的计算才能上是不能够完成的。但是，迷信家们面临的成绩比围棋要复杂得多。
“在一个有1,000个单元的网格上放置1,000个节点集群的形状空间是1,000的数量级! 大于102,500），而围棋的形状空间为10360。”研讨人员写道。他们想要设计的芯片将由数百万个节点组成。
于是，他们用人工神经网络（artificial neural network）处理了复杂性成绩，该网络可以将芯片设计编码为矢量表示，并使探求成绩空间变得愈加容易。
根据该论文，“我们的直觉是，一个可以完成芯片放置的普通义务的策略也应该可以在推理时将与新的未见过的芯片相关的形状编码为有意义的信号。因此，我们训练了一个可以预测新网表放置奖励的神经网络架构，最终目的是将该架构作为我们策略的编码层。”
有意思的是，直觉（intuition）这个词常常被随意地运用，但它是一个非常复杂且不为人知的过程，触及阅历、无看法的知识、形式辨认等等。
我们的直觉来自于多年来在一个范畴的工作，但它们也可以从其他范畴的阅历中获得。侥幸的是，在高功率计算和机器学习工具的协助下，将这些直觉停止测试变得越来越容易。
还值得留意的是，强化学习系统需求一个精心设计的奖励机制。理想上，一些迷信家以为，只需有正确的奖励功能，强化学习就足以达到人工通用智能（AGI）。
但是，假如没有正确的奖励，强化学习机器人能够会堕入无休止的循环中，做一些愚笨和有意义的事情。
谷歌的迷信家将布图规划系统的奖励设计为“代理线长、拥塞和密度的负加权和”。这些权重是他们在开发和训练强化学习模型时必须调整的超参数。
有了正确的奖励，强化学习模型就能应用其计算才能，找到各种方法来设计平面图，使奖励最大化。
精选数据集
该系统中运用的深度神经网络是运用监督学习（supervised learning）开发的。在训练时期，监督式学习需求标记数据来调整模型参数。谷歌的迷信家们创建了“一个由10,000个芯片安置组成的数据集，其中输入是与特定安置相关的形状，标签是该安置的奖励”。
为了避免手动创建每个平面图，研讨人员运用了人类设计的平面图和计算机生成的数据的组合。关于训练数据集中包含的算法生成的例子的评价，论文中没有太多的信息，也没有触及到多少人力的努力。但假如没有高质量的训练数据，监督学习模型最终只能得出较差的推论。
从这个意义上说，该人工智能系统与其他强化学习程序（如AlphaZero）不同，它在不需求人类输入的状况下开发了其游戏策略。
在将来，研讨人员能够会开发一个强化学习机器人，它可以在不需求监督学习组件的状况下设计本人的平面图。但鉴于成绩的复杂性，处理这类成绩很有能够继续需求人类的直觉、机器学习和高功能计算的结合。
强化学习设计 vs 人类设计
在谷歌的研讨人员的工作中，风趣的方面是芯片的规划，而我们人类也不断在运用各种捷径来克制我们大脑的局限。虽然我们不能一下子处理复杂的成绩，但我们可以设计模块化、层次化的系统来划分和降服复杂的成绩。
可以说，我们思索和设计自上而下架构的才能在开发可以执行非常复杂义务的系统方面发挥了很大作用。
举一个软件工程的例子。从实际上讲，你可以在一个文件中用非常大的、延续的命令流来编写整个程序。但软件开发人员从来没有这样写过他们的程序，他们创建的软件都是小块的，函数、类、模块，它们可以经过明白定义的接口互相作用。然后，我们将这些小块嵌套到更大的部分中，逐渐构成一个组件的层次结构。
你不需求阅读程序的每一行来了解它是做什么的，模块化使多个程序员可以在一个程序上工作，也使几个程序可以反复运用以前构建的组件。有时，仅仅看一下程序的类结构就足以为你指出正确的方向，以定位 bug 或找到添加晋级的正确地位。
在某种程度上，在计算机芯片的设计中也可以看到异样的状况。人类设计的芯片往往在不同的模块之间有明白的界限。另一方面，无论规划看起来如何，谷歌的强化学习代理设计的平面图曾经找到了阻力最小的途径。
左边是人工设计的芯片平面图，左边是AI设计的平面图。由于保密需求，该论文的作者对这些图像停止了模糊处理。但还可以看出左边有序，而左边混乱。
也许这在将来会成为一种可持续的设计形式，或者需求在高度优化的机器学习生成的设计和人类工程师强加的自上而下的次序之间做出某种类型的妥协。
人工智能+人类智慧
正如谷歌的强化学习驱动的芯片设计者所显示的，人工智能硬件和软件的创新将继续需求笼统思想，找到正确的成绩来处理，发展对处理方案的直觉，并选择正确的数据来验证处理方案。这些都是更好的人工智能芯片可以加强但不能取代的技能。
说到底，这并不是一个“人工智能胜过人类”、“人工智能创造出更聪明的AI”或者“人工智能开发出递归自我完善才能”的故事。相反，它是人类找到方法运用人工智能作为道具，以克制本人的认知极限并扩展其才能的表现。假如存在一个良性循环，那就是人工智能和人类找到了更好的合作方式。
参考材料：https://bdtechtalks.com/2021/06/14/google-reinforcement-learning-ai-chip-design/ |
