北大吴思教授：人脑的视觉辨认有无量多个解

作者 | 青 暮

编辑 | 丛 末

6月22日，北京智源大会举行了认知神经基础专题论坛，来自北京师范大学认知神经迷信与学习国家重点实验室的毕彦超教授、北京大学心思与认知学院的方方教授、北京师范大学心思学部的刘嘉教授、北京大学计算机系的吴思教授、中国迷信院自动化研讨所的余山教授分别做了报告，共同探求认知神经迷信能为AI带来什么启示。

第四位报告者是北京大学计算机系的吴思教授，演讲标题为《生物视觉和计算机视觉之间的对话》。

在报告中，吴思教授指出，生物的视觉辨认机制和深度神经网络的图像辨认机制有非常大的区别，生物的视觉辨认触及自上而下通路和自下而上通路的交互，而深度神经网络只模拟了第二种通路。自上而下的视觉通路触及生物视觉感知的全局性、拓扑性、多解性等特点，尤其是了解图像时会面临数学上的无量解成绩，而这些特点或许就是深度神经网络下一步的改进方向。

以下是演讲全文，AI科技回复做了不改变原意的整理。

我的报告内容是生物视觉和计算机视觉研讨的彼此影响，以此阐明神经迷信和人工智能研讨的互动关系。这两个范畴本质上都是在解开智能的黑箱，所以两者之间互相启示是非常自然的事情。

1

深度神经网络只模拟了部分生物视觉


深度神经网络是近年来人工智能兴起的引擎，曾经非常成功，在一些大型数据集对物体的辨认率甚至超过人类。但是，深度神经网络还面临很多成绩。

第一，深度神经网络更多是模拟了大脑视皮层中的前馈、层级结构信息处理的方式。但是大脑的视觉系统比这复杂得多，所以在很多行为上人脑和深度神经网络有非常大的不同。在很多义务上，人的表现愈加高明。

举个简单的例子。如下图所示，左边是一头熊，熊的部分信息被去除了，只剩下轮廓，而我们人类一眼就能认出这是一头熊。而左边的图则是把熊分成小块然后打乱，只保留部分的信息，全局信息则没有了。我们可以发现这些小块包含熊的眼睛、嘴巴、身体，但是很难认可左边的图是一头熊，深度神经网络却一眼认出左边的图是一头熊。

经过对比可以发现，深度学习网络的物体辨认机制和人类有很大不同。人类可以获取物体的全局信息停止辨认，而目前深度神经网络只能应用部分信息停止辨认。

无法获取全局信息是深度学习特别是前馈神经网络面临的一个基本成绩，这个基本成绩其实很早就被看法到了。人工智能的先驱Marvin Minsky在1969年就指出，前馈神经网络很难做拓扑性质的辨认。

拓扑学是研讨几何图形或空间在延续改变外形后还能保持不变的一些性质的学科。它只思索物体间的地位关系而不思索它们的外形和大小。在拓扑学里，重要的拓扑性质包括连通性与紧致性。

全局信息很难用前馈网络获取，即便要获取其计算复杂度也呈指数增长。拓扑信息和全局信息的获取是深度学习网络面临的基本成绩。

所以，我们有必要了解生物视觉系统如何获取全局信息。神经迷信范畴不断有一个广泛争论，就是人类辨认物体到底是根据全局信息还是部分信息。这两种观点对应的典型例子是两种画派，如下图所示，左边的画属于印象主义，假如只看部分的话是看不清眼睛或鼻子的，但是只需从全体停止辨认就能知道这是个男人，这是从全局信息停止物体辨认的例子。左边的画属于平面主义，这幅画把每个部分信息特别放大，毕加索说画中是一位美丽少女，但是很多人都以为看不出来，由于不能用部分信息拼成全体信息，这是从部分信息停止物体辨认的例子。

深度学习网络是经过聚合部分信息逐渐构建复杂信息来辨认物体的，相反，在认知神经迷信范畴有一个实际叫“逆向层次论”，这个实际指出，人类对物体的辨认是从简单到复杂、从全体到部分。

“逆向层次论”和我们的生活阅历相分歧，假如一个人在我们视野中一晃而过，你马上会反应到这是个人，然后再辨认对方的身份，这就是一种从全体到细节的辨认过程。

我们从神经迷信的角度来看人类视觉认知与机器学习的一个严重不同点。下图展现了一个实验，被试是盲视。盲视是指，看法层面“看不见”物体但却能“感知”到物体的存在。

大量实验表明，人类要看到或看法到物体，需求物体信息至少在视觉皮层V1中被接遭到。假设V1遭到损伤，就能够会产生盲视现象。这时还能感知到物体是由于皮层下通路还存在，皮层下通路是从视网膜中转上丘然后再到高级皮层的一条短途径。

迷信家应用动物实验更好的证明了这一点。他们把老鼠放在笼子里，天花板上会呈现一个动态刺激，即一个小的光斑很快变大，这模拟了在自然环境中老鹰向老鼠爬升上去时，老鼠视网膜接遭到的光信号。这时分，老鼠天分的第一反应是装死。迷信家发现，在上丘处经过操纵神经元反应可以让老鼠看到运动光斑后不再装死，或者即便没有运动光斑的出现老鼠都自动装死。这个实验表明天分的疾速反应走皮层下通路，而没有走深度神经网络模拟的皮层上通路。

在上述老鼠将运动光斑当成老鹰的实验中，老鼠根本没有刻意去辨认刺激是光斑还是老鹰，立刻装死。这是动物的天分反应，即老鼠没有做细节的特征提取也能辨认运动形式。

我们参考这个例子，提出了一种新算法，在辨认运动形式时不做特征提取。我们建立了一个模型，这个模型包含两个部分，下图左下方是外界输入，黑色圆圈中的网络表示“视网膜”。这里“视网膜”的计算很简单，它把运动形式投射到高维空间，使运动形式变成线性可分的，然后再输入到选择网络。“视网膜”的神经元特别多，相当于一个库网络。我们不需求训练库网络和选择网络，只需求训练库网络和选择网络之间的衔接。

关于选择网络，我用两个神经元来举例解释一下，如下图所示，每个选择神经元代表要辨认的一类运动形式。这些神经元的动力学特别的慢，由于要辨认运动形式，关键是要抓住输入的工夫结构，不只仅是空间结构。这些选择神经元之间存在互相抑制，每个神经元经过库网络输入搜集证据，假如证据支持本人编码的运动形式，这个神经元的反应就会抑制其它神经元的活动而最终胜出。

这个模型的计算本质是时空形式的辨认，所以我们可以把这个模型推行，用来做步态辨认。在这个义务中，人在屏幕前走1-2回，然后把步态输入到模型中，停止辨认。这个模型的优点是可以小样本训练，只需求1-2回的数据就能马上学会一个人的步态特点。

2

生物视觉是一个动态交互的过程


我们引见一个心思物理实验来展现由全体到部分的辨认实践上是不可避免的。请大家看下图中呈现的图像，猜一猜是什么。

假如你过去没有见过这张图的话是一定猜不出来的，所以我把图像的轮廓画出来。

如今你就能看出来图中是一头牛。假如把牛的轮廓去掉，你还是觉得图中是一头牛，由于这时你大脑中曾经有了自上而下的牛的先验知识。但这只是其中一个答案。我也可以画一只手的轮廓，然后轮廓去掉，这时分你又会觉得图中是一只手，由于你有了自上而下的手的先验知识。

我还可以在图中画一条鱼，我置信这时分你又会觉得图中是一条鱼。

这个实验表明人类辨认物体时，大脑皮层的自上而下的信号非常重要。

这个简单实验揭示了图像了解的一个深入数学成绩，即给定一副图像，它的解释实际上有无量多个。留意图像了解跟物体辨认不一样，图像了解触及两个基本操作，一个是图像分割，一个是物体辨认。

但两者的顺序是一个鸡生蛋或蛋生鸡的难悖论：给你一幅图像，没有合适的分割，如何做好辨认；但另一方面，假如没有预先辨认物体，又如何做合适的分割呢？从数学下去说，一幅图像有无量多的分割和辨认的方式，所以在数学上这是一个不适定的成绩。无论是人类还是AI，图像了解时都面临这样的难题。

大脑处理这个成绩的思绪是一个“猜测与印证”的过程。当我们辨认物体时，物体的图像信息疾速传递到高级皮层，即经过所谓的疾速通路，在高级皮层做出猜测。猜测结果再经过反馈衔接，和新的输入交叉印证，如此反复停止后，才能辨认物体。

我们在日常生活中很好看法到这个过程，由于在日常生活中，很多时分只需求一两个回合就能成功辨认。但的确有的时分一个图像看得不太清楚，我们会盯着它左看右看，大脑外部能够就停止了信息的上传、下传的交替，不断地停止“猜测-印证-猜测-印证”，只需印证结果能否定的，这个过程就会不断停止下去，直到得到一定的结果。

神经生物学充分证明人类大脑的辨认机制的确如此。从解剖下去说，从高级视皮层到初级视皮层的反馈衔接比前馈衔接还要多，相比之下深度学习网络次要思索的是前馈衔接。电生理实验证据也表明，大脑对物体的辨认先发生在高级视皮层，然后才发生在低级视皮层。

总的说来，生物视觉辨认至少有两条通路，疾速的通路对物体全体停止辨认，其结果协助慢速通路对物体部分信息的辨认。

下面以我们最近的一个工作来引见全体辨认能够如何经过反馈提高部分辨认。我们思索对物体停止辨认时，先对物体大类辨认，然后根据大类信息协助停止小类辨认。比如我们看到一个图片，先辨认这是动物，再辨认这是猫，还可以进一步辨认这是什么种类的猫。我们发现大类信息可以经过先正后负的反馈信息协助小类信息辨认。

第一步是正反馈（Push feedback），其作用是压制类间的噪音。假设高级脑区辨认出物体是一只猫，就告诉低级脑区不要再处理狗的信息了。这是正反馈，加强猫的信息，压制狗的信息。第二步是负反馈（Pull feedback），其作用是压制类内的噪音，即在猫的信息中把猫共性平均值减去，把不同猫之间的纤细差别放大。

总的说来，生物视觉的辨认机制和深度神经网络的图像辨认机制有非常大的区别，生物的视觉辨认触及自上而下通路和自下而上通路的交互，而深度神经网络只模拟了第二种通路。自上而下的视觉通路触及生物视觉感知的全局性、拓扑性和多解性等特点，而这或许就是深度神经网络下一步的改进方向。认知神经迷信和人工智能应该多互相对话、互相自创，按照过去的阅历，这样做常常能带来惊喜。

雷锋网雷锋网雷锋网

[耶]

你看到的
仅是你想看到的

跟背景知识有关，知识越多解越多。

看—》见

对了

分享了

分享了

学习下

小白一个 顶一下