机器学习是“炼金术”？

梯度下降依赖于实验和错误来优化算法，目的是在三维景观中使其最小化。

图片来源：ALEXANDER AMINI/SCIENCE

加州旧金山谷歌人工智能（AI）研讨人员Ali Rahimi去年12月对其所在研讨范畴停止了一次猛烈的鞭挞，并获得了40秒的掌声。在一次AI会议上，Rahimi指摘机器学习算法，即计算机经过反复实验和纠错来学习曾经成为某种方式的“炼金术”。他说，研讨人员并不知道为什么有些算法会起作用而另一些则不会，他们在选择一个AI架构而非另一个时也没有严厉的标准。在近日于加拿大温哥华举行的关于学习陈述的国际会议上报告的一篇论文中，Rahimi和合作者罗列了他们所看到的“炼金术成绩”，并为提高AI的严厉性开了“药方”。

“这个范畴有一种痛苦。”Rahimi说，“我们很多人觉得本人在运用一种完全不同的技术。”

这个成绩与AI的再现性成绩截然不同，由于实验和出版实际的不分歧，研讨人员无法复制彼此的结果。它也不同于机器学习中的“黑箱”或“可解释性”成绩：解释某一特定AI如何得出结论的难题。正如Rahimi所言，“我试图把机器学习系统的“黑箱”与转变为黑箱的整个范畴区分开来。”

他说，假如不深化了解构建和训练新算法所需求的基本工具，研讨人员创建AI就会像中世纪的炼金术士一样诉诸于谣言。加州山景城谷歌计算机学家Francois Chollet补充道：“人们被狂热崇拜所吸引”，依赖的是“官方传说和魔法咒语”。他举例说，他们采用宠物的方法调整AI的“学习速率”（一个算法在每个错误之后会在多大程度上停止纠正），而不是了解为什么一个算法比其他的更好。在其他状况下，AI研讨人员训练其算法只是在黑暗中磕磕碰碰。例如，他们执行所谓的“随机梯度下降”，以此优化一个算法的参数，以获得尽能够低的失败率。但是，虽然有数千篇关于这一主题的学术论文，以及有数运用该方法的途径，这一过程照旧依赖于尝试和纠错。

Rahimi的论文强调了被糜费掉的努力以及能够导致的次优表现。例如，它指出，当其他研讨人员从最先进的言语翻译算法中去掉大部分的复杂性时，它实践上可以把英语更好地翻译成德语或法语，而且效率更好，这表明其创建者并没有完全了解那些额外部分有什么好处。相反，英国伦敦推特网机器学习研讨人员Ferenc Huszar说，有时分，附加在算法上的铃声和哨声是独一优秀的部分。他说，在某些状况下，算法的核心存在技术缺陷，这意味着其得出的好结果“完全归因于在下面运用的其他技巧”。

Rahimi对了解哪种算法最有效提供了若干建议。他说，对于初学者来说，研讨人员应该像翻译算法那样停止“切除研讨”：一次删除一个算法的某些部分，以查看每个组件的功能。他呼吁停止“切片分析”，在此过程中，需求对一个算法的功能停止详细分析，以了解某些地方的改进能否会在其他方面产生成本。他还说，研讨人员应该对其算法停止许多不同条件和设置的测试，并报告一切测试的功能。

加州大学伯克利分校计算机学家、Rahimi炼金术主题演讲论文的共同作者Ben Recht表示，AI应向物理学取经，该范畴的研讨人员常常把成绩减少到更小的“玩具成绩”。他说：“物理学家在设计简单的实验以找到现象的解释方面非常惊人。”一些AI研讨人员曾经末尾采用这种方法，在处理大型彩色照片之前，先在小黑白手写字符上测试图像辨认算法，以更好地了解该算法的外部机制。

伦敦深度思想计算机迷信家Csaba Szepesvari表示，该范畴还需求减少对竞争性测试的注重。他说，如今假如一篇论文报告的算法优于某些基准，而非阐明该软件的外部工作原理，就更有能够被发表。这就是花哨的翻译算法经过同行评审的方式。“迷信的目的是产生知识，”他说，“你需求消费出别人可以运用并可以以它为基础的东西。”

并非一切人都赞同Rahimi和Recht的批判。脸谱网纽约首席AI迷信家Yann LeCun担心，把太多的精神从尖端技术转移到核心思解上，能够会减缓创新，妨碍AI的实践运用。“这不是炼金术，而是工程学。”他说，“工程学是散乱复杂的。”

Recht发现一个合适系统性且允许冒险研讨的地方。“我们两者都需求。”他说，“我们需求了解缺点来自哪里，这样就可以建立牢靠的系统；我们必须向前推进边界，这样就能沿着这条道路拥有更好的系统。”（晋楠编译）

锄禾日当午，发帖真辛苦。谁知坛中餐，帖帖皆辛苦！