本文来自王宏琳迷信网博客
计算机会“思想”、Agent（智能体）能感知环境、机器可从阅历中学习，其背后离不开数学——从线性代数、概率统计到拓扑学众多数学分支。这篇读书札记讨论人工智能背后的数学。
【人工智能离不开数学】
术语“人工智能（AI）”由两个词组成，“人工”和“智能”。“人工”一词意味着天然，而“智能”一词则意味着思想才能（如，学习、推理和处理成绩）。因此，可以说，人工智能是天然的思想才能。有些人工智能教科书将这一范畴定义为研讨“Agent（智能体）”——任何可以感知环境并采取举动，以最大限制地提高成功完成目的的机会的设备。机器学习（ML）是近年来发展最为迅速的人工智能的一个子集。它研讨经过阅历自动改进的计算机算法，为系统提供从阅历中学习的才能，其次要目的是让计算机在不受人类干涉的状况下自动学习并停止相应的调整。这里所谓人工智能的学习、推理和处理成绩的才能，Agent（智能体）感知环境和采取举动的才能，机器学习的经过阅历自动改进算法的才能，其背后均离不开数学。
Richard E. Neapolitan和Xia Jiang著的《Artificial Intelligence with an Introduction to Machine learning (人工智能与机器学习导论)》一书第二版（参考材料[1]），由5个部分组成，讨论了人工智能的5个次要研讨范畴：逻辑智能、概率智能、涌出智能（Emergent Intelligence，基于群体智能的退化计算和方法）、神经智能(神经网络和深度学习)和言语了解。
人工智能早期的成功，是建立在逻辑推理模型的基础上的。基于这种逻辑推理的人工智能模型是该书的第一部分的重点。在20世纪70年代，越来越分明的是，人类做出的许多判别都触及不确定或概率推断。到20世纪90年代，这种概率推理的建模，在人工智能中变得习以为常。概率推理是该书的第二部分的重点。智能行为并不局限于人类的推理。基于自然选择模型开发了有用的算法。非智能实体在群体中的行为有时会产生一种称为群体智能的涌现智能。该书的第三部分讨论了基于涌现智能的算法。最近神经网络在被称为深度学习范畴的运用得到了重生，它曾经成功地运用于计算机视觉和语音辨认等范畴。该书的第四部分努力于神经网络和深度学习。最后，第五部分讨论了人工智能的一项重要工作，即自然言语了解。
显然，人工智能这五个次要研讨范畴背后的数学，不尽相反。所以，假如问“人工智能背后的数学是什么？”，从不同人工智能研讨者，能够得到不同的答案。
有许多数学分支有助于人工智能和机器学习。例如，拓扑学是一门纯数学的学科，但是，拓扑数据分析（TDA）是一种应用数据中的拓扑特征，寻觅数据集结构的运用数学方法。顾名思义，TDA应用了拓扑学的思想。TDA为数据分析提供了一个通用的框架，其优点是可以从大量高维数据中提取信息，并具有抗噪声的波动性。TDA在短短的几年内得到了长足的发展，包括：聚类、流形估计、非线性降维、了解工夫序列、形式估计和岭估计等。TDA曾经成功地发现了许多大型复杂数据集中的信息。TDA结合了代数拓扑和统计学习的工具，为研讨数据的“外形”提供了定量基础。拓扑数据分析技术正在与我们明天所熟习的人工智能技术相结合。早期的例子是计算机视觉拓扑学（参考材料[2]）。拓扑数据分析量化了大原始噪声数据中隐藏的拓扑结构,将拓扑数据分析和机器学习结合起来，可用于处理计算机视觉实践成绩，以及更深化的了解数字图像。又如，深度神经网络的拓扑学。深度神经网络是一种弱小而诱人的方法，用于研讨各种数据（包括图像、文本、工夫序列和其他许多数据）获得了宏大成功。但是，限制其适用性的一个成绩是，人们对其外部的工作原理缺乏任何详细的了解。对卷积深神经网络的外部形状停止拓扑数据分析，可以了解它们所执行的计算（参考材料[3]）。神经网络还可以经过改变拓扑结构来运转，将拓扑结构复杂的数据集，转换为拓扑简单的数据集（参考材料[4]）。TDA是一个疾速发展的范畴，在机器学习、运用和计算拓扑学范畴吸引了越来越多的实际者和研讨者的兴味。因此，有人称：“拓扑数据分析可以说是机器学习趋向的先锋，由于它的细粒度形式分析取代了传统的有监督或无监督学习”（参考材料[5]）。也许“拓扑智能”也会成为将来的一个重要的研讨范畴。
没有人知晓一切数学（即便是数学家，也不一定知晓全部一切数学知识），更不能够要务实践工作者掌握全部一切数学知识，但应该掌握有关研讨范畴的数学基础知识。微积分、代数、线性代数、概率统计的基础知识，将会很重要。
【机器学习中的数学基础旧书】
数学是机器学习的基础，对了解这个范畴的基础至关重要。机器学习触及哪些基本数学工具呢？约书亚•本吉奥等著的《深度学习》（被称为“深度学习”的圣经）一书（参考材料[6]）中，引见了解深度学习所需的基本数学概念包括：线性代数、概率与信息论、数值计算三个运用数学基础。而莎朗·萨克塞纳（Sharon Saxena）在一篇题为《机器学习背后的数学-你需求知道的核心概念》（参考材料[7]）文章中，则提出线性代数、多元微积分和概率统计三个运用数学基础。两者都列有线性代数和概率统计。下面引见三种机器学习中的数学基础旧书，这些书尤其合适自学。
[运用线性代数导论——向量、矩阵和最小二乘法]
线性代数是研讨线性方程组及其变换性质的学科。线性代数可用于分析空间中的旋转，最小二乘拟合，求解耦合微分方程，以及许多其他数学、物理和工程成绩。例如，线性代数是古代几何的基础，包括定义基本对象，如直线、平面和旋转。这个数学分支触及方程，有助于获得关于不同变量如何影响机器学习中需求预测的值。但是，由于线性代数是一种延续方式而非团圆方式的数学，许多计算机迷信家对此没有阅历。对线性代数的良好了解对于了解和运用许多机器学习算法，特别是深度学习算法至关重要。
斯坦福大学教授斯蒂芬·博伊德（Stephen Boyd）的旧书《Introduction to Applied Linear Algebra —— Vectors, Matrices, and Least Squares（运用线性代数导论——向量、矩阵和最小二乘法）》（参考材料[8]），本书简称VMLS，提供对运用线性代数的基本主题——向量，矩阵和最小二乘法的引见。目的学习线性代数的基础实际和技能，并了解它们的运用，包括数据拟合、机器学习和人工智能、断层扫描、导航、图像处理、金融，自动控制系统。
VMLS下载地址：https://web.stanford.edu/~boyd/vmls/
VMLS提供配套的《Julia Language Companion》，可以在复习数学概念的同时，学习最新的Julia言语。实践上，我去年读VLMS，是为了学习应用Julia言语数据分析编程。学习Julia言语次要有三个缘由：功能、简单性和灵敏性。在人工智能社区，如今主流编程言语是Python。但是， Python的运转效率慢，因此，许多大型迷信与计算软件照旧运用C++或Fortran编写。如今Julia将Python和Matlab的高消费率和易用性与C++和Fortran的闪电般速度相结合，正在迅速成为迷信与工程计算、人工智能和机器学习范畴次要的有竞争力的言语。由于Julia言语是新推出的言语（2018年8月MIT正式发布编程言语Julia 1.0），有关与之配套的运用数学书籍不多见。
[Julia统计学：数据迷信、机器学习和人工智能基础]
统计学是一组工具的集合，可以运用这些工具来获得有关数据的重要成绩的答案。可以运用统计方法将原始观察结果转换为可以了解和共享的信息，可以运用统计推断方法从小样本数据推理到整个范畴。统计学通常被以为是运用机器学习范畴的先决条件。机器学习和统计学是两个亲密相关的研讨范畴。概率统计方法的运用，为机器学习提供了应用、分析和呈现原始数据的正确途径。机器学习运用统计方法，导致了语音分析和计算机视觉等范畴的成功完成。
上述的VMLS是我读到的第一本具有Julia配套示例的运用数学教科书。另外一本正在读的是关于统计学的，约尼·纳扎拉西（Yoni Nazarathy）和海登·克洛克（Hayden Klok）著，题为《Statistics with Julia: Fundamentals for Data Science, Machine Learning and Artificial Intelligence（Julia统计学：数据迷信、机器学习和人工智能基础）》。估计这本书将于2020年底经过斯普林格（Springer）出版，不过，其草稿可以在如下网址下载（草稿预先发布的做法，有利于提早交流和完善书稿）：
https://statisticswithjulia.org/StatisticsWithJuliaDRAFT.pdf
这本书的草稿包括：引见Julia、基本概率、概率分布、数据处理与汇总、统计推断概念、置信区间、假设检验、线性回归、机器学习基础和动态模型仿真等十章，具有残缺的内容结构和运用juliav1.4和近40个包的残缺代码库，以及总共212个代码示例。
掌握人工智能背后的数学，不同于传统的数理研讨。17世纪牛顿-胡克数学家之战时代的数学，要用笔和纸来研讨定理、推导和成绩，然后第二天互相应战。20世纪上半叶爱因斯坦-玻尔思想实验之争的时代，经过运用想象力停止的实验，压服对方。在21世纪，这些并非是学习新概念的独一方法，更非最佳方式。研讨人工智能中的数学，应该愈加关注任何给定表达式的直觉和几何解释，了解这些令人隐晦的表达式背后的含义，关注发生了什么，为什么会发生。应用像NumPy这样的计算库，协助停止计算实验，往往更有意义。所以，机器学习的实际者在学习数学的同时，离不开好像Python或Julia这样计算机编程言语。
[机器学习中的数学]
2019年，剑桥大学出版社出版了一本Marc Peter Deisenroth, A. Aldo Faisal, Cheng Soon Ong著的旧书《Mathematics for Machine Learning（机器学习中的数学）》（参考材料[9]）。根据作者的说法，《机器学习中的数学》的目的是提供必要的数学技能，以便随后阅读有关更高级机器学习主题的书籍。
该书把基础（数学）概念从运用中分离出来，分成两个部分。第一部分涵盖了纯数学概念，包括线性代数、解析几何、矩阵分解、向量微积分、最优化、概率和统计学，没有触及到机器学习。第二部分将重点放在应用这些概念推导出四种次要的机器学习方法：线性回归、主成分分析、高斯混合模型和支持向量机。对于先生和其他有数学背景的人来说，这些推导为学习机器学习提供了一个终点。对于第一次学习数学的人来说，这些方法有助于建立运用数学概念的直觉和实际阅历。本书采用模块化编写的方式，可以用两种方式阅读：自下而上——从基础到更高级的概念；自上而下——从实践需求深化到更基本的需求。下图表示在这本书中所涵盖的机器学习的四个支柱和在第一部分引见的数学基础。
来源：参考材料[9]图1.1
下图截取自书中，表示第2章引见的线性代数概念有关概念及其与书中其它部分关系：
来源：参考材料[9]图2.2
每一章都包含了测试了解力的实例和练习（第一部分提供的练习次要是用笔和纸来完成的）。该书的网站上还提供了在第二部分中讨论的机器学习算法编程教程（jupyter笔记本）。
剑桥大学出版社支持收费下载本书，网址为：
https://mml-book.com
这里引见的三本教科书，具有注重数学实际基础和运用实际结合，并伴随有编程示例的特点。
【结语】
国内去年一度盛传的“徐匡迪之问”——“中国有多多数学家投入到人工智能的基础算法研讨中？”引发过共鸣，不但为学术界所关注，也推进业界注重数学模型的研讨和算法设计的创新。
据报道，2020年8月11日，著名迷信家姚期智在受聘同济大学声誉教授举行的学术报告会上，分享了对当后人工智能（AI）研讨（人工智能的迷信基础、神经拓扑结构——神经网络研讨的新视角、隐私保护学习、可控超级智能等）和相关人才培育的思索。报导强调，“AI离不开数学，但AI面临的成绩不全是数学成绩”（参考材料[10]）。
在海外的一些大学里，计算机迷信系的先生通常在接受数学和统计学方面的培训并不多。目前的机器学习教科书，也次要集中在机器学习的算法和方法上，并假设读者曾经掌握数学和统计学，因此，这些书只花一两章引见背景数学，或在书的扫尾或作为附录。许多人想深化研讨基本机器学习方法的基础，就需求补充阅读机器学习所需的数学知识。所以，加强数学和统计学基础训练非常必要。
参考材料：
[1] Richard E. Neapolitan, Xia Jiang. Artificial Intelligence. Taylor & Francis Group, LLC 2018
[2] Gerhard X. Ritter. TOPOLOGY OF COMPUTER VISION. Topology Proceedings . Volume 12, 1987 Pages 117–158
[3] Gunnar Carlsson and Rickard Brüel Gabrielsson. Topological Approaches to Deep Learning. Topological Data Analysis. The Abel Symposium 2018 (Edited by the Norwegian Mathematical Society).Springer Nature Switzerland AG 2020
[4] GREGORY NAITZAT, ANDREY ZHITNIKOV, AND LEK-HENG LIM. TOPOLOGY OF DEEP NEURAL NETWORKS. arXiv: 2004.06093v1 [cs.LG] 13 Apr 2020
https://arxiv.org/pdf/2004.06093.pdf
[5] insidebigdata.Tomorrow’s Machine Learning Today: Topological Data Analysis, Embedding, and Reinforcement Learning.February 14, 2020
https://insidebigdata.com/2020/02/14/tomorrows-machine-learning-today-topological-data-analysis-embedding-and-reinforcement-learning/
[6] 伊恩·古德费洛，(加)约书亚·本吉奥，亚伦·库维尔. 深度学习.人民邮电出版社.2010
[7] Sharoon Saxena. Mathematics behind Machine Learning – The Core Concepts you Need to Know. Analytics Vidhya. October 15, 2019
https://www.analyticsvidhya.com/blog/2019/10/mathematics-behind-machine-learning/
[8] Stephen Boyd and Lieven Vandenberghe. Introduction to Applied Linear Algebra – Vectors, Matrices, and Least Squares. Cambridge University Press. 2018
[9] Marc Peter Deisenroth，A. Aldo Faisal，Cheng Soon Ong. Mathematics for Machine Learning. Cambridge. 2018
[10] 吴金娇. AI离不开数学，但AI面临的成绩不全是数学成绩. 文汇报. 2020-08-12. 《迷信网》转载地址：
http://news.sciencenet.cn/htmlnews/2020/8/444052.shtm
荐：
【中国风动漫】除了《哪吒》，这些良知国产动画也应该被更多人知道！
【中国风动漫】《雾山五行》大火，却很少人知道它的前身《岁城璃心》一个拿着十米大刀的男主夭折！
声明
来源：王宏琳迷信网博客，人工智能产业链联盟引荐阅读，不代表人工智能产业链联盟立场，转载请注明，如触及作品版权成绩，请联络我们删除或做相关处理！ |
