Bengio首期推特小课堂：从“AI将来五年”谈到“怎样教小孩学机器学习”

作者 | 青 暮

编辑 | 丛 末

Yoshua Bengio来Twitter传道授业解惑啦！

Yoshua Bengio是2018年图灵奖获得者，蒙特利尔大学计算机迷信与运筹学系教授，蒙特利尔学习算法研讨所（MILA）迷信主任，以及微软研讨院顾问。

这是他初次在Twitter上亮相，不过惋惜的是，他并没有守旧本人的Twitter账号，而是借着微软研讨院的官方Twitter 账号发言。

早在7月11日，Bengio就在微软研讨院的官方Twitter上发布了一个视频，表示会在7月16日与网友停止问答互动。Bengio在视频中说，可以就他的研讨工作提任何成绩，并特别提到他发表在ICML2020的一项工作。

不过发问者似乎对如何入坑AI以及其它学术成绩更感兴味，有人甚至问Bengio如何教小先生学习AI，Bengio也毫不介意，非常热情耐烦肠回答了二十多个成绩，让我们来看看Bengio都分享了哪些一孔之见吧。

可以在这个网页或Twitter上搜索“#AskYoshua”查看一切网友的成绩。虽然回答工夫曾经过去了，仍有不少网友想讨教Bengio。

#AskYoshua问答：https://twitter.com/hashtag/AskYoshua?src=hashtag_click

Bengio提到的发表在ICML2020的论文是《Learning to Combine Top-Down and Bottom-Up Signals in Recurrent Neural Networks with Attention over Modules》，感兴味的同窗可以去看看：

论文的ICML主页：https://icml.cc/virtual/2020/poster/6039

以下是问答内容，AI科技回复停止了不改变原意的整理：

1

如何入坑AI？

01、Rakshith V：为了从实际转向实践从而更好地了解深度学习，我应该怎样做？是完成论文，还是参加Kaggle竞赛，还是其它途径？Yoshua Bengio：首先，你需求敢于实际，亲身动手尝试。复现论文是一个很好的终点（除非拥有大量算力，普通我都停止小型实验）。
然后，你可以自问，采用什么方法可以使完成结果变得更好。假如发现论文中的结果不可复现，请不要犹疑，立刻与作者联络！

最后，不要犹疑，发表你的复现结果吧（例如，发表在arXiv），不管它能否见效（知道复现结果的难度也是很有用的）。

02、Zaryab Akram：您对刚进入AI范畴的研讨人员有什么建议？Yoshua Bengio：经过阅读足够深化地了解AI范畴之后，将留意力集中在可以逐渐成为专家的某个范畴，花工夫阅读该范畴的文献。

另外，经过本人停止实验来建立你的直觉，然后末尾遵从这些直觉去实际，有些会起作用，有些则不会。

03、Marcos Pereira：假如有人想展开独立研讨以补偿深度学习当前的缺陷（触及构建人类智能的更大目的），您以为如何末尾比较好？Yoshua Bengio：每个机器学习研讨人员都会对这个成绩有不同的答案，这很棒，由于我们不知道什么idea是有用的：研讨是一种探求。您可以经过观看我最近的演讲，并阅读我的近期论文来了解。04、deva satya sriram chinthapenta：我是一名先生，对深度学习研讨感兴味，但对运用不感兴味。我该如何从纯数学（概率统计）着手研讨计算机视觉或其他范畴？Yoshua Bengio：即便只想停止基础研讨，也应该动手了解概念，多亲身观察实验的结果，建立不只基于实际而且基于阅历的激烈直觉。系统1（阅历）和系统2（实际）需求协同工作！05、Ash：来自软件工程等运用范畴的人如何末尾AI研讨？Yoshua Bengio：我和Ian Goodfellow、Aaron Courville合作写了《深度学习》，这本书可以为你们提供协助。

电子版收费哦：https://www.deeplearningbook.org/

还有中文版哦：https://github.com/exacity/deeplearningbook-chinese

学会必要的数学知识，然后去研讨建议的参考文献，以确保具有阅读机器学习论文所需的知识。然后阅读大量论文，并亲身停止大量实验。问本人成绩，不要以为任何事情都是天经地义的。

2

学术讨论

06、Rakshith V：您对近期自监督学习的发展有什么看法？Yoshua Bengio：自监督学习是一个非常陈旧的想法，只是用了新术语，它基本上是从无标签（或标签不足）的数据中生成表征方式。
近年来，它的威力变得越来越为人所知，它将继续成为我们工具箱的一部分，但仅凭自监督学习不足以处理诸如OOD泛化和学习更高级别的笼统之类的成绩。

07、Mayur Jain：理想生活中存在成见/歧视，而成见/歧视又反映在数据中。由于很难在理想中更改数据，那要如何克制数据中存在的成见/歧视？Yoshua Bengio：我不是这个成绩的专家，但是有专门针对此成绩的讲座和教程。出发点是同情心，要思索我们的行为如何损伤或协助别人，并且要明白让不公正现象继续存在是不可接受的。

我们每个人只需做一点点改变就可以逐渐改变社会规范、文明和实际，从而朝着愈加公平和包容的社会迈进。

在日常生活（包括工作）中思索本人可以做的事情，以及从其别人正在做的事情中寻觅启示。

08、Antonio Regalado：请问您的新论文是对计算机和人类推理成见（bias）的辩护吗？Yoshua Bengio：归纳偏置（inductive bias）和成见不是一个概念。机器学习探求各种归纳偏置。在这项研讨中，我们尝试从大脑中获取灵感，以探求能够有更好泛化才能的神经网络架构。最好的归纳偏置有很好的泛化才能。很多基于推理的经典AI都是受人类认知启示的，古代机器学习也是如此。09、Harm van Seijen：研讨模块化网络上时要留意的次要圈套是什么？Yoshua Bengio：这是机器学习和深度学习研讨的常规方法，我以为，我们应该从OOD泛化性和迁移学习义务中的样本复杂性方面衡量增益，而不是根据常规的基准。

实验效果不佳的话，能够会让人们感到懊丧，过去这也发生在我身上。处理方案是：用长远的目光重新思索，以决议能否继续努力。

10、Alejandro Piad Morffis：您对AutoML感兴味吗？您以为AutoML和NAS是机器学习和深度学习将来发展的重心还是边缘范畴，或者它仅是面向运用的方法？Yoshua Bengio：我对AutoML研讨，以及架构搜索和生物退化之间的联络感到着迷。不只是架构，学习过程本身也应该成为搜索的一部分。

但是，这种自觉搜索的成绩在于：它使得我们更难以迷信地（例如在数学上）了解算法的过程。

我想说这种研讨是不得已而为之，是一种绝望的选择，以为我们能够无法运用感性找到处理方案，而需求依赖蛮力。

11、Samiul Hasan：神经网络还无法处理哪些成绩？Yoshua Bengio：当前的神经网络大多擅长人类的系统1（阅历）的才能，但并不擅长某些系统2（实际）的才能。

言语学家不断特别强调，与当前的机器学习（包括深度学习）相比，人类擅长系统概括。人类可以系统地将通用概念重组以构成明晰而新颖的含义，甚至可以运用到全新的范畴，。

12、Mohit Sharma：许多机器学习研讨是易于停止的并且可以独立停止。但是，实际研讨很难独立地在没有指点的状况下发表在COLT / ICML中。您对此有什么建议呢？Yoshua Bengio：去接触从事您以为风趣的工作的初级研讨人员。13、Hitesh Kumar Balapanuru：在AI中存在以下几个成绩：（1）泛化才能vs在有限测试数据集上更高的准确率（数据能够反映理想世界形式）（2）假如算法准确率很高，可解释功能否重要？可以分享一下您对此的看法吗？Yoshua Bengio：机器学习范畴将很多研讨精神放在泛化的普通方式上，以测试与训练数据拥有相反分布的数据。我以为我们正在转向分布外（out-of-distribution）泛化，这将完成更强的鲁棒性。

此外，从拟合数据分布转向建立其笼统表征以捕获因果结构的方法（运用相似于单词的概念，即语义表征），也应该有助于解释性。

14、Venkateshwar Ragavan @ ICML’2020：鉴于神经迷信对了解人工神经网络产生了深远的影响，还有哪些学科（如物理学等）将在了解人工神经网络黑箱子方面发挥关键作用？Yoshua Bengio：物理学曾经对神经网络产生了严重影响，比如基于能量的模型、玻尔兹曼机、熵和互信息的概念，以及物理和因果推理之间的关系。

引荐你看看这个视频：https://www.youtube.com/watch?v=4qc28RA7HLQ

15、Ujjwal Upadhyay：有一个观点说，表征学习有助于处理对抗性学习成绩，您怎样看？Yoshua Bengio：首先，人类也容易遭受对抗攻击（视错觉、心思成见等）。其次，我置信，一旦可以训练深层网络捕获对世界的高级笼统了解，我们将得到愈加鲁棒的系统。

这个成绩与系统2（实际）相关联，当然，也以系统1（阅历）为基础。当前许多成功作弊的对抗样本都应用了系统依赖于底层特征（即不够笼统的特征）的特点。

16、Alex Simonelis：您以为国家能否应该限制AI研讨？Yoshua Bengio：这是一个棘手的成绩。但是，作为研讨人员或工程师，我们的确需求留意误用AI对社会的影响。17、Greg Yang：我很猎奇您在“看法先验”方面的最新研讨成果是什么？

相关论文：https://arxiv.org/abs/1709.08568

Yoshua Bengio：我最近的论文中有很大一部分是对此的后续研讨，有几篇正在提交中。值得留意的有两个分支：一个是关于因果发现（在稀疏的因果图中）的系列论文，另一个是关于模块化循环架构的论文。

关于循环独立模块，我在ICML发表的论文中触及的自上而下的留意力就是一个例子。可以查看我最近的演讲以得到更广泛的了解，比如在Tubingen机器学习Summer Schoool上的演讲。

No1：https://www.youtube.com/watch?v=c_U4THknoHE

No2：https://www.youtube.com/watch?v=PDPdIDihPvc

18、Harm van Seijen：您以为，能否存在可以对大多数方式的组合停止编码的模块化网络设计？还是我们需求不同方式来编码不同方式的组合？Yoshua Bengio：在深度网络架构中，至少曾经应用了两种方式的组合性，一种方式来自分布式表征，另一种方式来自深度。

模块化和留意力以及能够的其他机制（例如工作记忆）能够是另一种方式的要素，有能够协助完成人类所拥有的系统概括才能。

3

AI将来五年

19、Pinaki Dasgupta：您以为将来五年深度学习或看法处理会如何发展？Yoshua Bengio：我以为，大脑中关于看法处理的一些机制会在接上去的几年中逐渐融入了深度学习架构和训练框架中。
此外，执行控制的优势也能为深度学习带来好处，例如重用知识、迁移学习、处理反理想的才能、笼统的信誉分配等等。

20、Devon Hjelm：在您看来，是什么idea促成了当前机器学习范畴的现状？您以为我们在不久的将来（将来5年）将走向何方？Yoshua Bengio：你可以看我最近发布的演讲视频《Deep Learning》，第一个视频回答了你第一个成绩，第二个视频回答了你第二个成绩。

No1：https://www.youtube.com/watch?v=c_U4THknoHE

No2：https://www.youtube.com/watch?v=PDPdIDihPvc

4



假如让Bengio教孩子机器学习？

21、Stefania：这是一个假想成绩，您会如何设计K12（学前教育至高中教育的缩写）机器学习教育？Yoshua Bengio：我会让孩子加强对数学和CS的学习，但更重要的是让孩子在学习过程中具有自主权。让他们成为发现物理定律和数学技巧的人，而不是被强迫加入其中。我会将孩子当成新手研讨人员，给予建议和指点。
雷锋网雷锋网雷锋网

边撸边过

专业抢沙发的！哈哈

撸过