导语
材料和机器的设计通常思索到特定的目的，以便它们对给定的力或约束表现出所需的呼应。发表在PRX上的一篇论文中，研讨人员探求另一种方法：物理耦合学习（physical coupled learning）。在这种范式中，系统最后并不是为完成义务而设计的，而是在物理上顺应所施加的力或约束，以培育执行义务的才能。至关重要的是，研讨人员需求经过物理上合理的学习规则来促进耦合学习，这意味着学习只需求本地呼应，不需求所需功能的明白信息。研讨结果表明，可以为任何物理网络推导出这种部分学习规则，无论该网络是处于平衡形状还是稳态。该文章特别关注两个特定系统：无序流网络和弹性网络（disordered flow networks and elastic networks）。经过将统计学习实际运用于物理世界，研讨人员证明了新型智能超材料（smart metamaterials）的合感性。
研讨范畴：统计物理，监督学习，集体行为，流网络，弹性网络
原文标题：
Supervised Learning in Physical Networks: From Machine Learning to Learning Machines
原文地址：https://journals.aps.org/prx/abstract/10.1103/PhysRevX.11.021045#fulltext
背景
工程材料通常被设计为具有特定的属性或功能的材料[1]。设计过程通常触及有数次反复实验，在此时期系统会针对所需功能停止反复测试 [2]、修正和再次测试。合理的设计过程从材料组件的详细信息末尾，通常运用计算来预测和调整设计。该策略基于学习，学习策略曾经次要限于非物理网络，例如神经网络。有一种方法被称为“全局监督学习”（global supervised learning），在数据分类成绩中得到大量运用[3,4]。
全局监督学习最近被用于设计流网络和弹性网络，它们是实践的物理系统，具有所需的特定功能，例如变构（allostery） [5,6]。在这种物理环境中，这种学习方法被称为“调控”（tuning），由于修正学习自在度需求微观层面的外部干涉。
相比之下，自然系统（如大脑）运用完全不同的学习框架，经过退化以获得所需的功能，研讨人员称之为“部分学习”（local learning）。这种演化是完全自主的，不需求外部人员来评价系统的当前形状，停止后续修正。在部分学习中，网络的某些部分只能根据其附近可用的部分信息停止退化[7]。将这种学习方法运用于物理网络（例如流网络或机械网络）特别有用。
运用全局或部分监督学习完成所需功能的物理网络触及两组不同的自在度。首先，网络经过最小化相对于其物理自在度的标量函数来呼应约束。其次，网络可以调整学习自在度，来学习特定目的对源的呼应。学习过程的预期结果是完成“目的”边缘或节点对外部约束的定制呼应。
最近，“定向老化”（directed aging）的部分监督学习方法，其中无序系统的工夫演化由施加的应力驱动，可用于创建具有所需特性或功能的机械超材料 [9-11]。部分监督学习相对于全局监督学习的宏大优势在于该过程是可扩展的——它可以运用于训练大型系统，而无需手动修正其组成部分 [9]。此外，定向老化不需求微观互相作用的详细信息或操纵（微观）学习自在度的才能[9]。
虽然定向老化方法在训练某些物理网络以完成所需功能方面是成功的，但它们在其他方面却失败了，特别是在高度约束的网络中，例如流网络和高协调机械网络。研讨人员提出了一个通用框架，称之为“耦合部分监督学习”，用于物理网络，如流网络和机械网络。这些规则旨在根据部分条件调整学习自在度。因此，它们与全局监督学习一样有能够成功获得所需的呼应。
耦合学习框架
1）流网络中的耦合学习
研讨人员首先在流网络的背景下讨论耦合学习。以前，研讨人员经过最小化全局成本函数，运用全局监督学习对此类网络停止训练，以展现流质变构 [5,6] 的特定功能。详细而言，网络被训练为在目的边缘（或许多目的边缘）上具有所需的压降，以呼应跨网络中其他源边缘施加的压降。在这里，研讨人员展现了严厉的本地学习规则如何相似地训练流网络。
图1：流网络中的耦合学习。
(a) 在自在阶段，节点压力遭到约束，使得源节点（红色）具有特定的压强值 pS。由于网络中的自然活动过程，目的节点压强 pT 和一切管道上的耗散功率 pj 达到其稳态值。(b) 在钳位阶段（clamped phase），监督者约束目的节点压强，使它们与自在形状相比更接近其希冀值。(c) 严厉的部分学习规则，即根据其呼应修正管道电导，与自在形状和钳位形状之间的耗散功率差异成反比。因此，学习规则耦合了源节点和目的节点的压强。
一个流网络由一组N个标记为μ的节点定义，每个节点带有一个压力值pμ，这些压力是网络的物理自在度。节点由管道j衔接，管道j以其电导kj为特征，则总耗散功率为：
研讨人员经过改变无约束节点的压力来最小化该函数。
研讨人员关注部分学习规则，其中每个管道j中的学习自在度kj只能呼应与管道j相关的两个节点上的物理变量（压力值）。他们引入了耦合学习的框架，定义了两组关于网络压力值的约束，提出了管道电导值的学习规则：
其中 α 是标量学习率。
图2：运用耦合学习训练流网络。
(a)未经训练的无序活动网络在一切管道上具有平均的电导率，如绿色边缘的平均厚度所示。十个红色和蓝色节点对应于源节点和目的节点，点大小指示源压力 和所需目的压力的大小。(b)在每一步中，电导值都运用等式停止修正。根据自在形状和夹紧形状的流量不同。这个过程是反复运用的。(c)训练后，与(a)中显示的初始网络相比，由绿色边缘的厚度表示的网络电导值发生了很大变化。(d)在网络训练时期，目的节点的压力值接近希冀值，如指数收缩误差（黑色实线）所示。当误差较小时达到所需的目的值；每个工夫步长 Δk（蓝色虚线）中电导的修正也以指数方式消逝。(e) 训练了多个不同大小的网络，并发现一切网络都可以经过耦合学习成功训练。误差线表示初始网络和源和目的选择的变化。在所无状况下，误差呈指数衰减，但较大的网络收敛速度较慢。(f) 选取某个工夫，误差随着系统规模的添加而添加。
耦合学习算法可以训练网络，让其表现出所需的呼应，并成功地将初始误差降低了几个数量级。
2）弹性网络
为了证明耦合学习框架的通用性，研讨人员将其运用于另一个物理系统：中心力弹簧网络（central-force spring networks）。这里有一组嵌入在d维空间中的N个节点，位于地位{xu}。标记为j的弹簧的能量取决于该弹簧的应变：
，总能量为：
除了在网络的边缘而不是节点上定义源和目的边界条件外，弹簧网络的自在和钳位形状与后面的例子相似。运用耦合学习规则来获得两个单独的学习规则，一个用于弹簧常数 kj，另一个用于运动长度 lj：
图3：经过修正 (a) 弹簧常数或 (b) 运动长度来训练弹簧网络。
目的边缘长度的误差显示为黑色圆圈和蓝色方块网络的训练迭代次数的函数。经过耦合学习的训练对于刚度和运动长度自在度都是成功的。
3）监督分类
研讨人员训练流网络以表现该网络对图像停止分类的才能。在分类中，训练网络在多组输入和输入之间停止映射。为了在运用耦合学习规则的同时编码多个输入-输入图，他们稍微修正了训练过程[28]。每个训练图像提供一个输入，该图像的正确答案是所需的输入。
图4：MNIST数字分类（0和1）：(a)数字 0（蓝色）和 1（黑色）的分类误差（成本函数值）的对比，其中每个时期由学习规则的 100 次迭代组成，每次迭代时随机选择不同的训练图像。实线表示训练误差，虚线表示测试误差。(b) 测试图像的预测精度（网络对数字 0 和 1 做出的正确预测的分数）与时期数的关系。总测试准确度以红色显示。(c)(d) 当呈现左上角的图像时网络的呼应。每个边缘耗费的功率由边缘颜色的强度表示。而目的节点的压力用蓝色和黑色圆圈标记。当显示0图像时，0目的节点压力高（蓝色圆圈），1目的节点压力低；当显示1图像时，1目的节点压力高（黑色圆圈），0目的节点压力低。实线表示训练误差，虚线表示测试误差。(b) 测试图像的预测精度（网络对数字0和1做出的正确预测的分数）与时期数的关系。总测试准确度以红色显示。(c),(d)当呈现左上角的图像时网络的呼应。每个边缘耗费的功率由边缘颜色的强度表示。而目的节点的压力用蓝色和黑色圆圈标记。当显示0图像时，0目的节点压力高（蓝色圆圈），1目的节点压力低；当显示1图像时，1 目的节点压力高（黑色圆圈），0目的节点压力低。
对实验的思索
在上一节中，研讨人员曾经经过计算证明了流网络和机械网络运用耦合学习规则成功地学习了所需的行为。为了让网络在物理环境中自主学习，网络必须可以将耦合学习规则作为其学习自在度。此外，外部操作需求可以根据需求钳制目的节点。对于流体活动网络，耦合学习需求管道电导值与管道外部活动的耦合。
1）近似学习规则（approximate learning rules）
思索后面描画的流网络。在物理流网络中完成这个学习规则有两个次要成绩。首先是方程的学习规则，它对边j的电导的学习规则不只取决于经过边j的功率，还取决于运用自在边界条件时的功率与运用钳位边界条件时的功率之间的差异。第二个妨碍是方程，这要求管道必须可以添加或减少其电导，电导只能在一个方向上改变的管道能够更容易经过实验完成。
我们可以在自在态周围串联扩展钳位功率，以获得学习规则的新表达式：
这思索了不同的形状对网络的影响。
图5：运用近似的、实验可行的学习规则训练流网络。
(a)全耦合学习规则和近似学习规则与不同η值的成本函数的梯度停止比较。虽然全耦合学习规则是优越的，但最优调整和近似规则之间照旧存在显着的相关性。(b) 可以在相似的工夫尺度上运用残缺规则和近似规则来训练网络。与残缺规则相比，近似学习规则遭到更多限制，通常有更高的错误级别。
2）物理或学习自在度中的噪音
网络中存在噪音，在学习中可以适当调整参数以改善训练结果。
图6：运用噪声测量和分散学习自在度停止学习。
(a)当自在或钳位形状测量中存在噪声时，小的微调会妨碍学习。可以经过较大的微调来改善训练结果。(b)学习自在度的漂移会妨碍学习，但可以经过添加学习率α来减轻其影响。
3）物理弛豫
在这项工作中，研讨人员采用了耦合学习的准静态极限，因此在计算自在或钳位形状之前，网络首先达到其波动平衡。换句话说，研讨人员探求了学习比物理动力学慢得多的极限 [39]。但是，物理网络需求有限的工夫来弛豫到它们的平衡形状。因此，运用小的微调通常无助于加速网络向其平衡形状的物理松弛。
耦合学习规则与其他学习方法的比较
为了强调部分监督学习方法的优势，研讨人员将其与全局监督学习停止比较。
图7：耦合学习规则和全局监督学习的效果对比。
(a)流网络中训练轨迹之间的直接比较表明，耦合学习与梯度下降一样成功。(b)训练时期耦合学习和调整（梯度下降）的修正向量Δk的点积阅历了波动，但照旧很高。(c)在训练末尾时，对于具有1（红色三角形）、3（蓝色菱形）和 10（黑色十字）目的节点。对于η≪1，这两种方法预测的结果非常相似。(d)耦合学习产生的结果作为目的节点数量的函数。(e)(f)非线性弹性网络中耦合学习和梯度下降的归一化预测之间的点积。我们发如今运用刚度和运动长度自在度 的弹性网络训练时期，耦合学习和梯度下降在很大程度上是分歧的。
讨论
在这项工作中，研讨人员引入了耦合学习，并将其运用于两类物理系统，即流网络和机械弹簧网络。与成本函数优化等更传统的技术相比，这种监督学习规则的优势在于它们在物理上是合理的。至少准绳上，耦合学习可以在理想的材料和网络中完成，使它们可以获取外部信号并自主学习。
这种学习机器不只本身很风趣，而且与经过优化成本函数设计的物理系统相比，能够具有重要的优势。首先，由于该过程触及对部分应力的部分呼应，因此该方法具有可扩展性——不同规模（不同节点数量）的网络中的训练步骤将花费大致相反的工夫。相比之下，计算集体成本函数的梯度所需的工夫随着系统规模的添加而迅速添加。
其次，原位训练系统的才能意味着不需求知道网络几何外形或拓扑结构，甚至不需求任何关于物理或学习自在度的信息。这对于实验系统特别有价值，实验系统不必对残缺的微观细节停止表征，也可以训练模型。
第三，只需网络可以执行学习规则，运用者就不需求操纵单个边以获得所需的学习自在度值（例如，流网络的边电导）。因此，运用角色可以由最终用户担任。用户可以为他们所需的义务训练网络，而不是专业算法设计师。
有人能够会问，物理网络能否可以与计算神经网络竞争。研讨人员的目的不是超越神经网络。相反，他们的目的是设计可以自主顺应义务的物理网络，它可以在没有计算机的状况下被推行到不同输入的物理系统中。
潘佳栋 | 作者
邓一雪 | 编辑
商务合作及投稿转载｜swarma@swarma.org
◆ ◆ ◆
搜索公众号：集智俱乐部
加入“没有围墙的研讨所”
让苹果砸得更猛烈些吧! | 
