请选择 进入手机版 | 继续访问电脑版
 找回密码
 立即注册
搜索

机器学习范畴援用超过15000次的神作

zhl822 2021-6-19 08:18:48 显示全部楼层 阅读模式
【导读】本文结合总结梳理了知乎上“援用次数在15000次以上的都是什么论文?”这一成绩的经典回答,希望能协助到各位进一步了解范畴内的相关停顿。并且经过阅读这些经典论文或许也会给您带来不少启示。


作者:小牧牧
https://www.zhihu.com/question/433702668/answer/1617092684

著作权归作者一切。商业转载请联络作者获得授权,非商业转载请注明出处。



1. 机器学习范畴

我来罗列一些机器学习(Machine Learning)范畴的高被引文章。
机器学习范畴泰斗级学者Geoffrey Hinton的文章援用:




援用次数超过15000次文章有6篇。


    ImageNet Classification with Deep Convolutional Neural Networks,援用75231次(AlexNet,点燃了深度学习的热潮,因此2012年被以为是深度学习元年,当然要非常感激ImageNet和GPU的加持);Learning internal representations by error-propagation & Learning representations by back-propagating errors,援用50716次(BP算法,殿堂级别的成果,几乎一切关于神经网络的文章都会用到BP算法);Deep learning,援用33222次(“三巨头”关于深度学习的综述文章);Dropout: a simple way to prevent neural networks from overfitting,援用24452次(Dropout是一种防止深度学习模型过拟合的正则化方法,目前已被Google央求专利,面对封锁,华为诺亚实验室开源了Disout算法,直接对标Google的Dropout);Visualizing data using t-SNE,援用16957次(t-SNE是一种流形学习方法,用于数据降维和可视化)。


Geoffrey Hinton谷歌学术援用次数




在机器学习范畴还有一个泰斗级的人物Jürgen Schmidhuber,他的一篇文章Long short-term memory目前的援用量是40934次,是深度学习-循环神经网络(Recurrent Neural Network, RNN)中的重要成果。但是LeCun Y,Bengio Y和Hinton G在2015年发表在Nature上的文章Deep learning作者中没有Jürgen Schmidhuber,不过Schmidhuber在2015也发表了一篇关于深度学习的综述文章Deep learning in neural networks: An overview,目前的援用量是10917。后来,“三巨头“获得了2018年的“图灵奖”,Schmidhuber和“三巨头“在网络上由于“成果援用”和“成果认定”发生了大量的口水战,这些都是后话了。










机器学习范畴还有一些重要的成果,对应的文章也有不俗的援用量。比如:
    不断被对比,从未被超越的Adam,目前的援用量是60604次;使神经网络训练更快、更波动的Batch normalization,目前的援用量是22986次;避免深层网络训练时梯度消逝或梯度爆炸的激活函数—线性整流函数ReLU(Rectified linear units improve restricted boltzmann machines),目前的援用量是11548次。Zisserman在2014年发表的关于VGGNet的文章Very deep convolutional networks for large-scale image recognition,目前的援用量是48691次。Google在2015年发表的关于GoogLeNet的文章Going deeper with convolutions,目前的援用量是26353次。何凯明2016年的文章Deep residual learning for image recognition,提出的多达152层ResNet,目前的援用量是63253次。2016年提出的用于目的检测的Faster R-CNN,目前的援用量是24215次。


女神李飞飞构建的ImageNet是计算机视觉(Computer vision)范畴非常著名的大型数据集,关于ImageNet的论文ImageNet: A large-scale hierarchical image database发表工夫是2009年,目前的援用量是23395次,AlexNet就是在2012年ImageNet大规模视觉辨认应战赛(ILSVRC)上一鸣惊人,自此点燃了深度学习的热潮,可见大规模数据对于深度学习的重要性。


常常被调侃“Money(GPU) Is All You Need”的文章Attention Is All You Need目前的援用量是15410次,这篇文章提出的Transformer是自然言语处理(NLP)范畴的重要成果,它的出现迅速取代了LSTM在NLP范畴的霸主地位,像BERT、GPT这样的SOTA模型均采用Transformer。NLP范畴的另一个分量级成果是word2vec,作者是来自Google的Tomas Mikolov,关于word2vec的两篇文章Distributed representations of words and phrases and their compositionalityEfficient estimation of word representations in vector space目前的援用量分别是24323次和19220次(感激@ccking的提示),其实我不断觉得NLP比图像处理成绩复杂的多,最让人头疼的莫过于如何将言语数字化,我对此的了解仅限于One-hot encoding,真实是太难了。


谷歌大神Ian Goodfellow的关于GAN的文章Generative adversarial nets目前的援用量是25592次,关于GAN终究是谁提出来的我就不得而知了,但是Schmidhuber在这个成绩上一定有很多话要说,至于Schmidhuber终究说了些啥,参见:郑华滨:从PM到GAN——LSTM之父Schmidhuber横跨22年的怨念(文字版)。


Hinton老爷子在2006年提出的深度置信网络(DBN)被普遍以为是深度学习的前夕,关于DBN的两篇文章A fast learning algorithm for deep belief netsReducing the dimensionality of data with neural networks的援用量分别是14370次和13659次,DBN是Hinton老爷子最引以为傲的成果,它是一种由多个限制玻尔兹曼机(RBM)堆栈而成的概率生成模型,是最后训练深度网络的一种方法,虽然目前深度学习模型不再需求这种预训练,但它的思想照旧影响着当前的研讨工作。

























2. 计算机视觉范畴
这里重点清点一下AI范畴,特别是CV方向的论文。


值得说一下,自从2012年,特别是2014年后,AI范畴再度火爆,延续至今,很多优秀论文(特别是基于深度学习)也是发表在这个时期,援用量也迅速爆炸。


    注:下面会边引见作者,边引见论文,侧重点有点不同。


计算机视觉范畴援用量1.5万+的论文


Andrew Zisserman(传闻欧洲计算机视觉第一人)


第一篇援用量近5万的是:深度学习时代的经典backbone模型VGG:Very deep convolutional networks for large-scale image recognition


第二篇援用量近3万,这其实是一本书《Multiple view geometry in computer vision》,可称为深度学习时代前的CV必读之作(如今其实也强推,但不少新入坑CV的人,直接跳过这些基础知识,去玩CNN了)


Jitendra Malik


加州大学伯克利分校的电子工程与计算机迷信系(EECS)教授 Jitendra Malik获颁 2019 年 IEEE 计算机先驱奖。
第一篇援用量近4万,算是12年之后人工智能最经典的书籍,内容覆盖范围相当之广。不过Jitendra Malik并非一二作,所以搜索该书的时分,不容易看到他的名字。
第二篇援用量近1.7万,基于传统方法的图像分割代表作!


下面说说深度学习三巨头(Hinton、Bengio和LeCun)


Geoffrey Hinton
Hinton老爷子的代表作太多了,1.5万+援用量的论文见下图(6篇)。比如


第一篇援用量7.5万+,发表于2012年的AlexNet!永远滴神!
第二篇援用量3.3万+,是为了纪念人工智能60周年,深度学习三巨头合作在Nature上发表深度学习的综述性文章:Deep Learning
还有4篇破1.5万援用量的论文,这里不赘述,膜拜即可!


Yoshua Bengio
Bengio教授的代表作也太多了,1.5万+援用量的论文见下图(5篇)。比如:




第一篇下面说过了,是深度学习三巨头合著的。
第二篇援用量3万+,这是和LeCun提出了当时风靡一时的字符辨认器(当时就是典型落地运用)
第三篇援用量2.5万+,这是和Goodfellow提出了鼎鼎大名的GAN!
第四篇援用量2万+,这是和Goodfellow发布了深度学习时代的"圣经"书籍:Deep Learning,国内不少人又称为花书。


Yann LeCun
LeCun大佬的两篇破1.5万的工作,下面曾经引见了。




Luc Van Gool
Luc Van Gool 苏黎世联邦理工学院教授,据了解,有若干中国先生曾师从于他。
这篇近3万援用量就是非常著名的SURF算法


下面提到SURF算法,就不得不提SIFT算法。


David Lowe


SIFT算法援用量近6万!其是手工特征时代的最具代表性工作!SURF、ORB在它面前都是弟弟,截止目前SIFT仍被广泛运用,相当能打!


Trevor Darrell
第一篇援用量近2万,鼎鼎大名的基于FCN的语义分割网络!
第二篇援用量1.5万+,鼎鼎大名的R-CNN目的检测网络。




李飞飞(Li Fei-Fei)
李飞飞女神,创建了ImageNet数据集和相关赛事~ 影响力宏大


上述次要是AI、CV范畴的大长辈(年龄基本40+),这里重点引见几位"新秀":


何恺明(Kaiming He)
做CV的应该都听过何恺明,有鼎鼎大名的ResNet、Faster R-CNN、Mask R-CNN、Focal Loss、FPN和近期的MoCo等工作。


第一篇是目前CV主流运用的backbone:ResNet,永远滴神!
第二篇是目的检测范畴代表性网络:Faster R-CNN
估计17年发表的Mask R-CNN 也快破1.5万援用量了


Ross Girshick
他与何恺明算是合作搭档,都在FAIR工作,有不少合作的工作。
有鼎鼎大名的R-CNN系列工作,合作的有Caffe、Mask R-CNN、Focal Loss、FPN和YOLO等工作。




Ian Goodfellow
GAN 之父!下面三个工作都是目前顶级活跃的,比如GAN、Deep Learning书籍和TensorFlow框架




任少卿(Shaoqing Ren)
Faster R-CNN一作!貌似如今不做研讨了,次要在企业(目前在蔚来)担任技术主管/副总裁。




其实CV范畴还有很多超1.5万的论文,限于篇幅这里就不逐一清点:








作者:BeyondSelf
https://www.zhihu.com/question/433702668/answer/1624083551

著作权归作者一切。商业转载请联络作者获得授权,非商业转载请注明出处。



我梳理一下通讯和图像处理方面,读过的一些经典的,超过15000援用的论文.


1. A Mathematical theory of communication


援用次数:78680
评价:创始了信息论,直接奠定了通讯的发展,大名鼎鼎的香农三定理和熵的概念就是在这篇文章中提出的。没有它,就没有WiFi和5G,也没有我们刷着知乎听着歌


2. A combined coerner and edge detector


援用次数:18167
评价:提出了角点特征,可以检测图片中的角点、边缘和图片。是图像特征提取的代表作,是图像分割、婚配等的基础。


3. Distinctive image features from scale-invariant keypoints


援用次数:59561
评价:大名鼎鼎的SIFT特征,具有尺度、方向、仿射不变性,和上一篇论文的Haris特征一同,成为图像特征提取的两个最重要技术。


4. Object recognition from local scale-invariant features
援用次数:20100
评价:David Lowe的另一篇文章,说的是应用尺度不变特征来停止目的辨认


5. Compressed Sensing
援用次数:27557
评价:紧缩感知的代表作之一,将采样和紧缩过程结合起来同时停止,直接对信号的稀疏性停止感知。


6. Robust Uncertainty Principles: Exact Signal Reconstruction From Highly Incomplete Frequency Information
援用次数:16700
评价:紧缩感知的另一篇代表作


7. A new approach to linear filtering and prediction problems


援用次数:35070
评价:提出了著名的卡尔曼滤波。假如你没听说过卡尔曼滤波不要仅,但你一定点过外卖,打过滴滴,甚至美国阿波罗号上天也用过它,根据测量值和形状方程修正真实值,就是它干的事情,


8. A computational approach to edge detection


援用次数:35942
评价:边缘检测的另一篇代表作


9. Gradient-based learning applied to document recognition


援用次数:32192
评价:LeCun的经典论文,做过机器学习的都知道,没做过机器学习的也普通听说过MNIST数据集




作者:远处群山
https://www.zhihu.com/question/433702668/answer/1622573162

著作权归作者一切。商业转载请联络作者获得授权,非商业转载请注明出处。



援用一万五千次以上的论文相当稀有,基本上都属于开山之作,创始了某个中等或者大范畴的作品。也可以说是养活了很多人的作品...
如今深度学习的论文里15000次援用的挺多的,看到也有其他答主总结了,我就重点说下信号处理和图像处理的经典论文,


紧缩感知的两篇开山之作:
    Donoho D L. Compressed sensing[J]. IEEE Transactions on information theory, 2006, 52(4): 1289-1306. 27000次援用Candès E J, Romberg J, Tao T. Robust uncertainty principles: Exact signal reconstruction from highly incomplete frequency information[J]. IEEE Transactions on information theory, 2006, 52(2): 489-509. 16000次援用
统计学习里大名鼎鼎的LASSO:
    Tibshirani R. Regression shrinkage and selection via the lasso[J]. Journal of the Royal Statistical Society: Series B (Methodological), 1996, 58(1): 267-288. 援用35000次


统计学习的圣典:
    Cortes C, Vapnik V. Support-vector networks[J]. Machine learning, 1995, 20(3): 273-297.
图像分割的开山之作normalized cut:
    Shi J, Malik J. Normalized cuts and image segmentation[J]. IEEE Transactions on pattern analysis and machine intelligence, 2000, 22(8): 888-905. 援用16000次


异样来自Malik教师的图像去噪神作——分散滤波,威名赫赫的Perona-Malik模型,多少PDE-based image processing methods就是源自这里:
    Perona P, Malik J. Scale-space and edge detection using anisotropic diffusion[J]. IEEE Transactions on pattern analysis and machine intelligence, 1990, 12(7): 629-639. 援用15000次


图像去噪的又一神作,超级经典的全变差模型:
    Rudin L I, Osher S, Fatemi E. Nonlinear total variation based noise removal algorithms[J]. Physica D: nonlinear phenomena, 1992, 60(1-4): 259-268. 援用15000次


无比经典的SIFT图像特征检测以及方向梯度直方图(HOG)模型,做图像处理的应该没有不知道这两个的:
    Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International journal of computer vision, 2004, 60(2): 91-110. 58000次援用Dalal N, Triggs B. Histograms of oriented gradients for human detection[C]//2005 IEEE computer society conference on computer vision and pattern recognition (CVPR'05). IEEE, 2005, 1: 886-893. 32000次援用
做图像恢复的人一定都知道SSIM这个目的,出自这篇文章:
    Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE transactions on image processing, 2004, 13(4): 600-612. 援用27000

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

大神点评12

是机智cy 2021-6-19 08:20:01 显示全部楼层
搜索索引论文关键词都有了很方便,感激分享!为你点赞三连。
回复

使用道具 举报

zzzz你你 2021-6-19 08:21:56 显示全部楼层
分享了
回复

使用道具 举报

老孙130630 2021-6-19 08:28:59 显示全部楼层
分享了
回复

使用道具 举报

ouyangyao 2021-6-19 08:35:35 显示全部楼层
分享了
回复

使用道具 举报

我剪剪剪 2021-6-19 08:44:16 显示全部楼层
分享了
回复

使用道具 举报

晃夷炕 2021-6-19 08:46:54 显示全部楼层
分享了
回复

使用道具 举报

风云426 2021-6-19 08:48:26 显示全部楼层
分享了
回复

使用道具 举报

無痕 2021-6-19 08:53:45 显示全部楼层
分享了
回复

使用道具 举报

0行云0 2021-6-19 09:03:05 显示全部楼层
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies