用于图像辨认的深度残差学习！

论文摘要：神经网络的训练因其层次加深而变得愈加困难。我们所提出的残差学习框架可以更轻松的对比后人所提深很多的网络停止训练。相对于之前网络所学习的是无参考的函数，我们分明改进的网络结构可根据网络的输入对其残差函数停止学习。我们提供的详实阅历证据表明对这样的残差网络停止寻优愈加容易，并且随网络层次的分明加深可以获得更好的准确率。我们应用ImageNet数据集验证了深达152层残差网络——虽然这个网络的深度是VGG网络[41]的8倍，但是复杂度却相对较低。该残差网络对ImageNet测试集的错误率为3.57%，这个结果获得了2015年ILSVRC分类义务的第一名。此外，我们分析了分别用100层和1000层网络对CIFAR-10数据集的处理。

明天的论文为卷积网络提供了一种新的体系结构。在我们末尾之前，我会提示你：这篇论文很陈旧。它发表于2015年底的深度学习的黑暗时代，它的原始格式还是纸莎草纸，还好，有人对它停止了扫描，以便后代可以读取它。它提出的架构曾经被一次又一次地运用，包括我们以前读过的一些论文：Deep Networks with Stochastic Depth「具有随机深度的深度网络」。（https://arxiv.org/abs/1603.09382）

首先要留意看似矛盾的状况：非常深的网络比中等深度的网络执行得更差，也就是说，虽然向网络添加图层通常可以提高功能，但在某些时分新图层会末尾妨碍网络。他们将这种影响称为网络退步。

随着网络变得越来越深，像消逝渐变这样的训练成绩变得越来越蹩脚，所以您会希望更多层在某个点之后使网络变得更糟。但作者估计这种推理和陈述，其他几种深度学习方法，如批量标准化，本质上曾经处理了这些训练成绩，随着深度的添加，网络照旧表现得越来越差。例如，他们比较20层和56层网络，发现56层网络的功能要差得多，这是在论文中看到的图片。

比较CIFAR-10上的20层和56层网络。请留意，56层网络在训练和测试中表现较差。

然后，作者们展开了一个思想实验（或者假如你是像我这样的恢复物理学家的实验室）来证明更深层次的网络应该一直表现更好。他们的论点如下：

从一个功能良好的网络末尾;

添加被强迫造为身份辨认功能的附加图层，也就是说，他们只需传递无需更改的任何信息;

这个网络更深，但是由于新层不做任何事情，所以必须具有与原始网络相反的功能;

网络中的层可以学习标识功能，所以假如它是最优的，他们应该可以准确地复制这个深层网络的功能。

这个思想实验导致他们提出他们深度残差学习架构。他们构建了他们称之为剩余构建块的网络。下图显示了一个这样的块。这些块已被称为ResBlocks。

ResBlock，在顶部学习残差函数f（x），并且信息沿底部传递不变。这是由Huang等人的Stochastic Depth论文修正的图像。

ResBlock由与整流线性单元（ReLU）衔接的正常网络层构成，并在下面经过来自前一层的信息不变地馈送。 ResBlock的网络部分可以包含恣意数量的层，但最简单的是两层。

要深化了解ResBlock背后的数学知识：让我们假设一组图层在学习到特定函数h（x）时表现最好。作者留意到残差f（x）= h（x）？x可以被学习，并与原始输入结合起来，使得我们恢复h（x）如下：h（x）= f x）+ x。这可以经过向网络添加一个+ x组件来完成，回想我们的思想实验，这只是身份函数。作者希望将这种“传递”添加到他们的层面将有助于训练。与大多数深度学习一样，只要这种直觉支持该方法，而不是更深化的了解。但是，正如作者们所表明的那样，它是有效的，并且这是我们许多从业者关怀的独一事情。

论文还讨论了对ResBlock的一些修正。首先中间层运用较少的输入和输入来搜集信息流。第二个是测试不同类型的传递衔接，包括学习一个残缺的投影矩阵。虽然更复杂的传递效果会更好，但它们会稍微花费一些工夫，而且以训练工夫为代价。

论文的其他部分将测试网络的功能。作者发现，他们的网络比没有传递的相反网络表现更好。他们还发现，他们可以训练更深层次的网络，并且照旧表现出更高的功能，最终训练了152层ResNet，其功能优于更浅的网络。他们甚至还训练了一个1202层的网络来证明它是可行的，但发现它的功能比本文所研讨的其他网络差。

比较两个网络的功能：左侧的网络不运用ResBlocks，而右侧的网络则运用ResBlocks。请留意，34层网络的功能优于18层网络，但仅限于运用ResBlocks时。

他们还提出了一个由思想实验驱动的新架构，并希望它能比以前更好地工作。他们构建了几个网络，包括一些非常深的网络，并发现他们的新架构的确提高了网络的功能。虽然我们没有深化了解深度学习的基本原理，但我们的确得到了一种使我们的网络更好地发挥作用的新方法，并且最终能够曾经足够好了。

Alexander Gude目前是Lab41的一名数据迷信家，担任调查引荐系统算法。他拥有加州大学伯克利分校的物理学学士学位以及明尼苏达大学双城分校的基础粒子物理学博士学位。

Lab41是一个“应战实验室”，美国情报界与学术界、工业界和In-Q-Tel的同行一同处理大数据。它使来自不同背景的参与者可以获得想法、才能和技术，以探求数据分析中什么可行，什么不可行。 Lab41是一个开放式的协作环境，培育参与者之间的宝贵关系。

LZ敢整点更有创意的不？兄弟们等着围观捏~

沙发位出租，有意请联系电话：13888888888

一直在看