刘菁菁：How Multimodal AI Empowers People - 智客公社

(, 下载次数: 35)

上传

点击文件名下载附件

刘菁菁教授，清华大学智能产业研讨院首席研讨员、国强教授，美国麻省理工学院计算机迷信博士，英国剑桥大学MBA，曾任美国微软资深首席研讨部门经理，带领科研团队在视觉加言语多模态机器学习、自然言语处理等人工智能范畴展开迷信研讨。加入美国微软研讨院之前，刘菁菁博士曾任麻省理工学院计算机迷信与人工智能实验室 (MIT CSAIL) 研讨迷信家，专注语音对话系统学术研讨。

报告内容

在过去的70年里，人工智能的发展迂回坎坷。上世纪50年代，艾伦·图灵提出“机器能否思索”的成绩，引发了人们关于机器智能的思索；1956年的达特茅斯会议上，“人工智能”的概念被正式提出，推进了人工智能研讨的第一波浪潮；到了上世纪70~80年代，由于诸多成绩短工夫内无法得到处理，人工智能的发展迎来第一个寒冬；2012年至今，随着深度学习的兴起，多项打破性成果诞生，人工智能进入蓬勃发展期。

在明天，人工智能曾经改变了人类生活的方方面面。AIR院长张亚勤院士曾提出人工智能的发展要秉持3R准绳：积极呼应（Responsive）、顺应发展（Resilient）、坚守价值（Responsible）。本次演讲中，刘菁菁教授引见了多模态AI如何从这三个维度为人类社会赋能。

(, 下载次数: 40)

上传

点击文件名下载附件

什么是多模态AI

人工智能技术的运用举例：

AI协助视觉妨碍人士：应用AI技术，将周围的环境讲述给运用者听，让有视觉妨碍的用户“听”到周围的环境；

AI眼镜：结合了眼镜、超声波传感器和GPS技术，可以给运用者提供方向、面前物体的颜色、后方能否有妨碍等信息；

指尖阅读器（MIT Media Lab推出）：可以协助有视觉妨碍的人经过手指来停止阅读。

以上一切运用都依赖于多模态AI技术。那么什么是多模态AI？可以将AI模型类比为人类的大脑，多模态AI的目的就是建立一种模型，可以处理、了解自然界中的多模态的信号（如语音、文本、图片、视频），并完成一些智能的义务，比如推断、预测、决策等。在这里我们接触到了人工智能发展3R准绳中的的第一个准绳：积极呼应（Responsive），即我们的技术应该可以处理自然界中的多模态的信号并完成各式各样的义务，进而对人类社会产生协助。

(, 下载次数: 27)

上传

点击文件名下载附件

可以客观地说，深度学习给AI世界带来了宏大的变革。在前深度学习时代，语音、自然言语处理、机器视觉范畴是严厉分开的，他们各自只能聚焦于一些单模态内的成绩，比如语音辨认、图片分类等。深度学习完成了让AI范畴从纯粹的单模态研讨向多模态交融研讨转变。不同于前深度学习时代运用团圆的符号空间（如文本中的token，图片中的pixel等），深度学习时代，一切信号都被编码进一个通用的神经空间（neural space），给多模态信息交融带来能够，从而促进了多模态AI的发展。

(, 下载次数: 38)

上传

点击文件名下载附件

多模态AI子义务

一些多模态义务的示例如下，在多模态义务中，模型的输入和输入可以是多种模态信号的不同组合：

若输入和输入都是文本，是言语单模态义务，典型的义务无机器翻译，模型会将一种言语翻译到另一种言语；

若输入和输入都是图片，是图片翻译义务，例如将一个有颜色的明晰图片转换成模糊的图片或黑白图片；

若输入是图片，输入是文本，这是图像描画（Image Captioning）义务，给定一张图片，模型需求生成对此图片的自然言语描画；

若输入是文本，输入是图片，这是图像生成（Image Synthesis）义务，给定一段文本，模型需求生成符合此文本描画的图片；

(, 下载次数: 44)

上传

点击文件名下载附件

以下义务以文本+图片作为输入：

Visual QA：给定一张图片和一个与图片相关的成绩，模型需求了解图片内容，给出对于成绩的回复；假如给定图片停止多轮问答，则是Visual Dialog义务。

(, 下载次数: 36)

上传

点击文件名下载附件

图片编辑：这是另一个非常风趣的义务，给定一个图片框架和用户描画，模型需求编辑图片来满足用户的需求；假如将此义务扩展成多轮的方式，则是Interactive IE义务。

(, 下载次数: 37)

上传

点击文件名下载附件

Visual Entailment、Visual Reasoning等义务需求模型根据给定的多模态信息做推理，Image-Text Retrieval是另一个在理想中有较大运用价值的义务，即给定一个文本查询，模型需求在候选图片集中寻觅与之最为婚配的图片，反之亦然。

(, 下载次数: 42)

上传

点击文件名下载附件

除此之外，还有Visual Grounding, Vision-Language Navigation等等其他风趣的多模态义务。

多模态AI是一个非常多元化的范畴，义务多种多样，且都非常风趣，世界各地有很多研讨者正在停止着很多风趣的研讨。以上这些只是在图片+文本范畴，对于视频+文本范畴，还有如下义务。

(, 下载次数: 48)

上传

点击文件名下载附件

下面是上述多模态义务能构建起的两个实践运用。左图VQA机器人，用户可以上传图片并停止发问，聊天机器人会根据图片回答相关成绩并和用户聊天。右图是基于对话的图片编辑机器人，可以经过和用户的交流，跟随用户的指示，产生新的图片或更改之前设计的图片，来协助用户设计产品：

(, 下载次数: 30)

上传

点击文件名下载附件

多模态AI常用技术

机器学习可分为有监督学习、无监督学习、半监督学习，半监督学习可以看作前两者的折中。

在有监督学习中，我们会给模型有标签的数据，随后模型为每个样本做出预测，并根据样本的标签停止模型优化。例如对于图像分类模型，我们给模型一系列的图片，并告诉他哪些图片是狗，而哪些是猫，随后模型可以从这些有标签的图片中停止学习。之后给定一张新图片，模型可以根据之前学得的结果，对这张图片停止猫狗二分类。

无监督学习指模型从无标签的数据中停止学习。即我们给模型大量的图片，但我们不会告诉他这张图片属于猫和狗中的哪一类，模型需求本人去学习。

(, 下载次数: 31)

上传

点击文件名下载附件

理想中存在的大量数据都是无标签的，获取带标签的数据是昂贵且费时的，因此自监督学习应运而生。自监督学习的次要思想是除了显式的标注，无标签的原始数据本身，也有一些内在的监督信号可以用来训练模型。在计算机视觉范畴，经过改变图片样本，比如将有颜色的图片转换成黑白图片，或者遮盖图片的某些区域，或改变图片中各个块的顺序，可以构造出一些天然的标签。有了这些天然的收费标签，我们可以在神经网络上停止训练。自监督学习的关键就是用数据本身和一些天然的标签来训练模型。

(, 下载次数: 40)

上传

点击文件名下载附件

最近自监督学习方法为NLP范畴带来了很大的打破，例如BERT和GPT-3模型。这两个模型都是Transformer架构，Transformer是一个非常酷炫且强力的模型结构，最近风靡深度学习范畴。大规模模型的预训练可以运用Wikipedia或News copora的收费语料。

(, 下载次数: 41)

上传

点击文件名下载附件

在多模态范畴，传统的机器学习的做法是为每个义务设计特定的模型，针对不同义务的模型在模型结构和特征设计方面能够大不相反。

(, 下载次数: 36)

上传

点击文件名下载附件

在深度学习时代，我们可以运用自监督学习来预训练一个大规模、Task-Agnostic的模型，而不是设计只针对特定义务的模型。这种通用的模型不显式地针对任何详细义务，但当需求适配到某详细义务时，可以经过微调，将其特化成可以适用于相应义务的特定模型，并获得很好的效果。微调是指，给定预训练好的模型，运用一些迁移学习方法，将模型适配到详细的下游义务中。预训练+微调的范式是目前深度学习范畴非常盛行的方法，其可以应用大量的数据，以一个更通用、高效的方式，处理各式各样特定的下游义务。

(, 下载次数: 38)

上传

点击文件名下载附件

多模态预训练从19年的夏天末尾兴起，各种模型如雨后春笋般涌现，如ViLBERT、LXMBERT、UNITER等，他们运用不同的特征提取方法、不同的预训练义务。其中UNITER模型由刘菁菁教授在微软时的团队提出。与此同时，视频+文本预训练范畴也在蓬勃发展。

(, 下载次数: 35)

上传

点击文件名下载附件

以下是一些预训练中常用的数据集，每一个数据集包含很多的Image-Text pairs，一个Image-Text pair中，文本通常是对图片内容的描画。

(, 下载次数: 34)

上传

点击文件名下载附件

我们通常会设计一些预训练义务来训练模型，以UNITER为例。UNITER是基于Transformer的单流模型。给定一个Image-Text pair，UNITER首先运用图像编码器和Faster R-CNN提取图像中各个区域的特征；随后运用文本编码器，从文本中提取各个token的特征；最后将提取的特征提供给Transformer，并运用一些精心设计的预训练义务来预训练模型。典型的预训练义务有：Masked Language Modeling（预测文本中被遮盖的token），Masked Region Modeling（遮盖图片中的一些区域，训练模型来重构这些区域），Image-Text Matching（判别文本和图片能否婚配）等等。

(, 下载次数: 38)

上传

点击文件名下载附件

模型预训练的目的是学习不同模态之间的对齐。以下是Text-Image之间互留意力的示例，展现了模型学习到的图片和文本之间的对齐关系。可以分明地观察到，模型可以将图片中特定的区域与文本中相应的部分联络在一同：

(, 下载次数: 40)

上传

点击文件名下载附件

预训练之后，我们可以运用迁移学习，将模型适配到各式各样的下游义务中去。下面列出了一些典型的下游义务：

Visual Entailment：给定图片和关于图片内容的假设，模型判别此假设能否和图片内容相符；

Referring Expressions：给定一张图片和关于图片中某个特定区域的描画，模型找出和此描画相对应的区域。

(, 下载次数: 31)

上传

点击文件名下载附件

视频+文本的义务也是相似的处理方式，我们可以用视频+文本数据集（比如HowTo100M，包含100million YouTube视频）来训练模型，下游义务包括Action Recognition等：

(, 下载次数: 42)

上传

点击文件名下载附件

此外，预训练模型还有大量的研讨主题，比如训练策略、端到端预训练、模型鲁棒性、模型效率、多言语预训练、探测分析等等。探测分析（AI可解释性）是一个非常风趣的范畴，其目的是了解预训练模型的黑盒，深度学习模型就像一个黑盒，我们不知道在现象背后详细是哪些部分在起作用，此范畴相关研讨可以协助人们了解AI到底是如何有效地工作的。

(, 下载次数: 43)

上传

点击文件名下载附件

假如大家想更多地了解多模态AI范畴，可以参考刘菁菁教授与微软、UCSC等合作者在CVPR 2020和CVPR 2021大会上办的 Tutorial。另外，刘菁菁教授参与了与微软、UNC、UCSC等合作者最新发布的 benchmark，叫做VALUE，其中包含了11个不同的视频+言语了解的义务，比如Video Retrieval、Video QA等。可以从网站上下载相应的数据集，参与功能排行应战，也可以下载代码库来尝试运用一些基线模型，这是一个能动手入门很好的方法。此外，还可以运用一些现有的预训练模型，并针对某下游义务停止微调，这样可以更直观地感受预训练方法是如何工作的。

(, 下载次数: 35)