智客公社

标题: 为什么机器学习很难学习因果关系？ [打印本页]

作者: 皇马の瞌睡猫 时间: 2021-4-16 13:37
标题: 为什么机器学习很难学习因果关系？

[attach]559410[/attach]

【CSDN 编者按】虽然现有的机器学习模型曾经获得了宏大的提高，但遗憾的是，一切的模型不过是对数据的准确曲线拟合。从这一点而言，现有的模型只是在上一代的基础上提升了功能，在基本的思想方面没有任何提高。那么，怎样才能推进AI社区处理这一成绩呢？

作者 | Ben Dickson，已获作者翻译授权

译者 | 弯月

出品 | CSDN（ID：CSDNnews）

在观看下面这则短视频的时分，你可以推断出不同元素之间的因果关系。例如，看见球棒和棒球选手的手臂一同移动，你就知道是选手的手臂运动带动了球棒的运动。而且你还知道这一棒打下去，球的运动方向会立刻改变。

同理，你还可以停止一些反理想推理，例如，假如球飞的稍微高一点，而且球棒没有击中球，会怎样。

[attach]559411[/attach]

这类的推理对于人类来说都是很自然的事情。我们很小就学会了这样的推理，不需求任何人的指点，只需求经过观察世界就能掌握。虽然机器学习算法可以在象棋等复杂的义务中击败人类，但因果关系对它们来说照旧是一个大难题。机器学习算法，尤其是深度神经网络非常擅长经过大量数据找出不易察觉的形式。它们可以实时将音频转成文本，每秒标记成千上万的图像与视频画面，而且还可以经过X射线和 MRI 扫描检查能否存在癌症的影像形式。但是它们却很难执行简单的因果推理，就像我们下面看到的棒球视频。

Max Planck 智能系统研讨所、蒙特利尔学习算法研讨所和 Google 研讨所的的工作人员在题为《Towards Causal Representation Learning》的论文中，讨论了机器学习模型由于缺乏因果表示而引发的难题，他们还为创建可以学习因果表示的人工智能系统指明了方向。

这是研讨人员为探求和处理机器学习缺乏因果关系成绩而做出的多项努力之一，如今这个成绩已成为克制该范畴一些重要应战的关键。

[attach]559412[/attach]

独立同分布数据

为什么机器学习模型无法推行到其狭窄的范畴和训练数据之外？

因果表示论文的作者表示：“机器学习通常会忽略动物大量运用的信息：对这个世界的干涉、范畴的转移、工夫的结构，总的来说，我们以为这些要素很费事，我们希望能对其加以改造。因此，机器学习当前的大部分成功都源自对搜集到的独立同分布数据停止的大规模辨认。”

独立同分布（independent and identically distributed，简称 i.i.d.）数据是机器学习中常常运用的术语。它假设成绩空间中的随机观测之间不互相依赖，而且发生频率是恒定的。举个最简单的例子，掷硬币或掷骰子。每一次抛掷的结果都与后面的抛掷没有关系，而且每种结果的发生概率保持不变。

当触及到更复杂的范畴（比如计算机视觉）时，机器学习工程师会经过在大量的示例语料库上训练模型，尝试将成绩转化成某个独立同分布的范畴。他们假设，假如示例非常充分，那么机器学习模型就可以将成绩的大致分布编码成参数。但在理想世界中，这些分布常常由于训练数据中没有思索到或无法控制的要素而发生变化。例如卷积神经网络，即便经过了数百万个图像的训练，但在遇到光照条件发生变化、稍微调整角度或在不同的背景下才能看到的物体时，就能够失败。

[attach]559413[/attach]

为了处理这些成绩，研讨人员所做出的努力次要还是在更多示例中训练机器学习模型。但是随着环境变得越来越复杂，经过添加更多训练数据的方法来覆盖整个分布是根本不能够的。在 AI 智能体必须与世界交互的范畴（例如机器人和自动驾驶汽车）尤其如此。由于缺乏对因果管理的了解，机器学习算法很难做出预测，并应对新状况。这就是为什么即便无人驾驶汽车经过了数百万英里的训练，照旧会出现一些奇异的错误。

AI 研讨人员表示：“为了准确地概括独立同分布，机器学习算法不只需求学习变量之间的统计关系，而且还需求学习潜在的因果模型。”

人类可以经过因果模型将以前获得的知识运用到新范畴。举个例子，在你玩《魔兽》之类的即时战略游戏时，可以将所学的知识疾速运用到其他相似的游戏，比如《星际争霸》和《帝国时代》等。但是，机器学习算法中的迁移学习仅适用于非常表面的状况，比如微调图像分类器以检测新型对象。在学习视频游戏之类更复杂的义务中，机器学习模型需求大量的训练（需求玩数千年的游戏），而且一旦环境出现纤细的变化（比如遇到新地图或规则稍作改动），呼应就会出成绩。

因果机器学习论文的作者写道：“因果模型只需更少的样本就能顺应环境，由于绝大多数知识（即模块）都无需重新训练就可以重用。”

[attach]559414[/attach]

因果学习

[attach]559415[/attach]

既然我们曾经知道独立同分布存在弱点，为什么还要经过这种方式训练机器学习呢？完全基于观察的方法具有可扩展性。你可以经过添加更多的训练数据持续提高准确性，并且可以经过添加更多计算才能的方式来加快训练过程。理想上，近年来深度学习成功背后的关键要素之一便是更多的数据和更弱小的处理器。

此外，基于独立同分布的模型也易于评价，你可以在获得大型数据集后，将其分为训练集和测试集，根据训练数据调整模型，并应用测试集来衡量准确性。你可以持续训练，直到达到所需的准确性。许多公共数据集都提供此类的基准，比如 ImageNet、CIFAR-10 和 MNIST。还有一些特定的数据集，比如公用于covid-19 诊断的数据集 COVIDx，威斯康星州乳腺癌诊断数据集。在上述所无状况下，我们面临的应战都是相反的，即开发一种可以根据统计规律预测结果的机器学习模型。

但是，正如 AI 研讨人员在论文中观察到的那样，准确的预测通常不足以为决策提供根据。例如，在新冠疫情时期，许多机器学习系统都出现了成绩，由于它们是根据统计规律训练而成的，而不是因果关系。一旦生命形式发生变化，模型的准确性就会下降。

因果模型在面对成绩的统计分布被干涉要素改变的状况时照旧很健壮。例如，当第一次看到某个物体时，你的思想会下看法地扫除外观中的光线要素，这就是为什么在不同的光照条件下看到该物体时，你照旧可以辨认出来。

此外，因果模型还可以让我们应对以前从未见过的状况，并停止反理想推理。我们无需开着车冲出悬崖就知道后果是什么。反理想推理可以大幅增添机器学习模型所需的训练示例。

因果关系对于应对对抗性攻击也很重要，这里的对抗性攻击指的是经过一些巧妙的操纵，迫使机器学习系统发生不测。“这些攻击打破了基于统计的机器学习做出的假设，即独立同分布的数据。”该论文的作者表示，对抗性破绽证明了人类的智力程度与机器学习算法的健壮性机制之间的差异。研讨人员还提出，因果关系是防御对抗性攻击的一种措施。

[attach]559416[/attach]

从广义上讲，因果关系可以处理机器学习缺乏通用性的成绩。研讨人员表示：“可以说，当前的大多数做法（处理独立同分布的基准成绩）和大多数实际结果（关于独立同分布设置中的泛化）都无法处理各个成绩之间的泛化。”

[attach]559417[/attach]

在机器学习中加入因果关系

AI 研讨人员在论文中引见了一些对于创建因果机器学习模型必不可少的概念和准绳。

其中包括如下两个概念：“结构因果模型”和“独立因果机制”。该准绳指出，AI系统不应该寻觅表面化的统计相关性，而是应该寻觅因果变量，并将它们对环境的影响分开。

无论视角、背景、光线和其他噪声如何，这种机制都可以检测到不同的物体。这些因果变量之间的分离可以使AI系统在应对不可预测的变化和干涉时愈加弱小。因此，因果AI模型不需求庞大的训练数据集。

因果机器学习论文的作者表示：“无论是经过外部的人类知识，还是经过学习获得因果关系，一旦建立因果模型，因果推理就可以在干涉、反理想和潜在结果之上得出结论。”

此外，作者还讨论了如何将这些概念运用到机器学习的不同分支，包括强化学习（强化学习对于智能体探求环境并经过反复实验发现处理方案的成绩至关重要）。因果结构可以提高强化学习的效率，由于机器学习模型可以从训练末尾就做出良好的决议，避免采取一些随机且不合理的举动。

关于如何构建结合了机器学习机制与结构因果模型的 AI 系统，研讨人员提供了一些构想：“为了却合结构因果模型与表示学习，我们应该努力将 SCM 嵌入到更大的机器学习模型中，这些模型的输入和输入是高维非结构化的，但是部分外部运作可由 SCM 控制（可以经过神经网络设置成参数）。这样就可以得到模块化的体系结构，并且不同的模块可以分别停止微调，然后运用到新义务。”

这些概念可以让我们的模型更接近人类思想的方式，完成相似于人类思想在大脑的不同区域和范畴之间重用知识和技能的效果。

[attach]559418[/attach]

但是，我们需求留意，该论文中提出的想法目前仅限于概念。正如作者所说，这些概念的完成面临以下几个次要的应战：

但是，该论文的研讨人员从该范畴的其他工作中汲取了灵感。该论文援用了图灵奖获奖者 Judea Pearl 的《causal inference》。同时，该论文的作者之一 Yoshua Bengio 也是图灵奖获奖者。

该论文的部分思想与 Gary Marcus 提出的混合 AI 模型（即将符号系统的推理才能与神经网络的形式辨认才能结合在一同）不谋而合。不过，该论文并没有直接援用混合系统。

此外，该论文与 NeurIPS 2019 AI 大会上 Bengio 发表的演讲《system 2 deep learning》中提出的概念相吻合。该演讲背后的思想是创建一种可以从数据中学习更高表示的神经网络体系结构。更高的表示对于因果关系、推理和迁移学习都很重要。

虽然目前尚不清楚以上几种方法中的哪一种有助于处理机器学习的因果关系成绩，但不同思想流派的汇聚与碰撞一定能产生不一样的火花。

“从本质上讲，形式辨认只是数学的笼统，而因果关系对于大多数方式的动态学习来说都是必不可少的。到目前为止，机器学习不断在忽略因果关系的残缺整合，而这篇论文则以为因果关系概念的整合可以让我们播种颇丰。”

原文链接：https://bdtechtalks.com/2021/03/15/machine-learning-causality/
声明：本文由CSDN翻译，转载请注明来源。

[attach]559419[/attach]

4月20日晚八点，欢迎离开CSDN悦读工夫直播间，与四位大咖一同探求UNIX传奇往事的启示，围观《UNIX传奇》旧书发布会！

[attach]559420[/attach]

作者: 绕指 时间: 2021-4-16 13:42
分享了

作者: @Xizi_EgqQHIzR 时间: 2021-4-17 15:02
还有没有详细介绍？

作者: 184107538 时间: 2021-4-18 11:59
路过的帮顶

作者: chaote55 时间: 2021-4-19 09:45
我只是路过，不发表意见

欢迎光临智客公社 (http://bbs.cnaiplus.com/)