智客公社

标题: 这家不到三岁的中国AI研讨院，要和世界最牛同行同台竞技？ [打印本页]
作者: qq130717    时间: 2021-6-4 14:24
标题: 这家不到三岁的中国AI研讨院，要和世界最牛同行同台竞技？
本文来自微信公众号“硅星人”（guixingren123），作者：光谱 杜晨

要论 AI 基础科研哪家强，置信业内人士都会想到谷歌、OpenAI、DeepMind，以及那几家由深度学习三剑客领衔的顶级大学和研讨院。

特别是 OpenAI，最近几年停顿一日千里，去年发布了文本生成模型 GPT-3，有着地理数字级别的1,750亿参数量，运用在各种场景下的效果之优秀，令人震惊。OpenAI 汇集了许多AI大神，还锁定了10亿美元投资承诺，是当之无愧的全球 AI 基础科研范畴领头羊。

但是，就在这周，在太平洋的彼岸，一家创立至今还不足三年的中国研讨院，居然想要和 OpenAI 同台竞技。

北京智源人工智能研讨院（以下简称 BAAI），一家2018年成立的新型研发机构，本周发布了“悟道2.0”——中国首个+世界最大超大规模预训练模型，达到了史无前例的1.75万亿参数。

(, 下载次数: 361)


这个模型到底有多神奇？BAAI 又是一家怎样的机构？让我们来深化了解一下：

巨模型、快算法、大数据集：中文版AI“全家桶”


悟道2.0是一个多模态模型，多个子模型在算法、训练数据上同源，但在不同方向上获得了优秀的成绩，推进着深度学习技术和通用人工智能这一终极目的之间的边界。

“传统”的深度学习神经网络模型，往往只合适做同一类型的义务，比如图像辨认、语音辨认、文字生成等，在跨“专业”上的表现普通不会太理想；而悟道2.0可以同时处理文字生成和图像生成这两种方向完全不同、内在原理悬殊的困难义务。

在本周举行的年度学术和行业大会上，BAAI 方面演示了悟道2.0曾经具有了写诗、对联、策论、图生文、文生图等多种生成式才能，并且泄漏，模型在一些困难义务上曾经接近于击败图灵测试的程度。

硅星人记者在现场体验了三项测试，每项5道题，标题的格式是区分出两段文字或者两张生成的图片当中，谁的作者是真人，谁的是机器——我们的成绩是5/5（诗词）、1/5（策论）和 1/5（文生图）。

图灵测试更偏客观，而在各项 Benchmark 上击败此前最优模型，的确是悟道2.0获得的客观成就。

目前，悟道2.0曾经在 ImageNet 图像零样本上获得了最优成绩，超越OpenAI 的 CLIP 技术；在 MSCOCO 数据集上文字生成图片义务中，悟道2.0的40亿参数量子模型 CogView，攻克了“上下溢收敛”这一关键难题，功能超越了具有130亿参数量，被誉为第三代深度学习技术代表的 OpenAI DALL-E 模型。

在多言语图文检索、完形填空、知识探求其它多项义务的 benchmark 当中，悟道2.0也击败了 Google、微软、加州大学等顶尖机构开发的当前功能最优模型。

(, 下载次数: 384)


悟道2.0弱小的才能，源自于史无前例般宏大的训练参数量。1.75万亿参数这个级别，即便采用最新的专门深度学习计算硬件和分布式计算方法，也非常艰难。而悟道2.0完成壮举的背后有两大功勋：1）独创式的训练算法 FastMoE，2）中国超级计算机的计算力气。

FastMoE 是 BAAI 团队自主开发的高功能混合专家层系统 (Mixture of Experts, MoE) ，包含480个专家层，从而完成了1.75万亿参数量。

简单来说，MoE 是谷歌2017年提出的，一种可以让神经网络训练参数量分明增长的核心技术，也是也是往年年终谷歌发布的 Switch Transformers 模型——第一个万亿级参数量神经网络模型——的核心。

但是谷歌的 MoE 技术依赖谷歌本人的 TPU 硬件和训练框架，对于外部机构来说运用起来门槛颇高。

所以 BAAI 团队开发并开源了 FastMoE 算法，支持目前最为主流的 PyTorch 框架，并且包含专门优化的 CUDA 代码，让 AI 研讨者和开发者用 GPU 也可以借助 MoE 的力气训练模型。

(, 下载次数: 406)


另外，悟道2.0本身的训练过程，也获得了中国超级计算机项目的协助。理想上，它也是中国团队初次在100%国产的超级计算机上训练出来的深度神经网络模型。

中国虽然是发展中国家，但曾经成为世界超算范畴的强国。例如采用全国产 CPU 的神威计算速度高达93 PFlops，截至2019年6月世界排名第三。

据 BAAI 学术副院长唐杰泄漏，悟道2.0是初次在国产CPU集群上完成万亿级别参数量的模型训练，整个计算完全在 CPU 上做，面临很多难题和新的成绩，所以团队把整个低层的代码重写，完成了 Transformer 计算。

在100%国产化超算上部署 FastMoE 算法，使得悟道2.0训练参数量分明提升，并且仍可以高效训练，完成了史无前例的疾速打破。国产超算+FastMoE，从硬件平台到软件平台完成了国产化，是悟道2.0的分明特征。

“大家说我们成本非常高，既是对的又是错的，”唐杰表示，“对的，我们的确成本非常高；错的，曾经不像原来要（训练）动辄好几个月。我们如今可以在更大的算力上跑很短的工夫。”

除了新模型、新算法之外，完成万亿参数的深度神经网络也需求新的数据。更好、更大的数据集的公布，不断都是 AI 技术演进的重要基石，在这一点范畴内也是共识。比如 ImageNet 的发布，助推了计算机视觉技术在之后几年的长足提高。

异样，BAAI 这次秀出的不止新模型、新算法，还为深度学习研讨者送上了悟道2.0训练所用的数据集 WuDaoCorpora2.0。它包含了目前全球最大的中文文本数据集、多模态数据集和中文对话数据集，由1.2TB中文数据、1.2TB英文数据，以及2.5TB的图文数据，共计数据量达到了惊人的4.9TB。

WuDaoCorpora2.0 的到来，对于外部研讨者停止中文的自然言语处理、对话式AI和多模态模型的研发，都可以提供更多协助。至于 BAAI 本人，也在扩展基础数据的量级，唐杰泄漏将来也会继续训练更大的模型。

(, 下载次数: 388)


未满三岁的 BAAI，如何追逐世界顶尖程度


2015年创立的 OpenAI，不断被誉为是深度学习学术和业界的翘楚，间隔完成通用人工智能最近的一支团队。该机构去年发布的 GPT-3，应战了人们对对于 AI 才能和创造力认知的极限。

OpenAI 的明星投资人阵容包括 Sam Altman (CEO)、Reid Hoffman、Peter Thiel、马斯克等，现任和后任员工包括多名深度学习范畴的知名专家，如 Ilya Sutskever, Andrej Karpathy, Wojciech Zaremba 等。理想上，OpenAI 成立初期的研讨员阵容，来自深度学习三剑客之一的 Yoshua Bengio 列出的一份“最强研讨员名单”。虽然据传 OpenAI 给这些顶级研讨员的工资并没有 Facebook、Google 等大厂高，一些现任员工也曾表示，选择 OpenAI 是看重它的伟大使命。

（当然，后来 OpenAI 成立了有限合伙，一部分目的也是为了更方便的融资，并且给优秀的员工开出期权。）

面对实力如此弱小的 OpenAI，为何大洋彼岸的 BAAI 作为后来者，可以和它同台竞技？它到底是一家怎样的机构？

(, 下载次数: 377)


BAAI 全称北京智源人工智能研讨院 Beijing Academy of Artificial Intelligence, 这个中文称号源于“北京智源举动计划”，启动于2018年11月。

思索到 AI 是新一轮科技创新革命和产业变革的重要驱动力，而北京在 AI 方面占据地利人和，驻有国内顶尖的学府、研讨机构、创新企业、投资机构，和大量专业人才。在科技部和北京市的支持下，这些企业、高校、科研院所共同提出了智源举动计划，而正是在这个计划下，BAAI 得以成立。

成立不到三年，就发表了迄今为止最大参数量的多模态神经网络模型悟道2.0，这也分明提升了 BAAI 在 AI 基础科研范畴的受关注度。本周的年度学术大会，甚至吸引到了2018年图灵奖得主 Yoshua Bengio、2017年图灵奖得主 David Patterson、Michael I. Jordan，以及自动驾驶之父 Sebastian Thrun 等国际上深度学习范畴的顶尖学者远程参与。并且，Jordan 本人也是 BAAI 学术顾问委员会的成员之一。

并且，Jordan 本人也是 BAAI 学术顾问委员会的成员之一。对于外籍学者的支持和引入，也表现了 BAAI 不断以来坚持的开放学术交流的理念。

(, 下载次数: 348)


毫无疑问，BAAI 在研讨方向、机构属性等诸多方面，和 OpenAI 颇有相似。

首先，从悟道2.0的引见中可以看出，BAAI 的AI 基础研讨方向，和 OpenAI 多有重合：

(, 下载次数: 382)


BAAI 的创始人兼理事长是张宏江，美国计算机学会 ACM 院士、前金山软件 CEO、微软亚洲研讨院结合创始人之一，目前担任源码资本投资合伙人。张宏江是多媒体世界大会第一位担任技术委员会主席的华人，也是创始了计算机视频检索范畴的专家之一。

和 OpenAI 的非营利理事会相似，BAAI 也有一个理事会管理架构，构成人员异样来自中国科技界的顶级公司和研讨型院校，而且构成人员更聚焦 AI。理事成员包括：

(, 下载次数: 338)


在详细团队方面，BAAI 的员工聚集了来企业、学术等不同背景的专家。比如，BAAI 的学术副院长唐杰来自清华大学，带领了一支清华、人大、北大等知名学府不同专业方向的团队，也有各合作企业的员工进驻。

但和 OpenAI 略有不同的是，BAAI 更为明晰的定义它的四类人才：首席迷信家、研讨项目经理、研讨员，和青年迷信家。在每一个研讨不同技术方向的子团队当中，都有不同资深程度、专业和技能方向、供职背景的成员，员工构成非常多元化。目前仅悟道团队就曾经有100+名AI迷信家。

(, 下载次数: 377)


特别是在年轻学者的扶持方面，张宏江泄漏，年轻一代研讨员的长大速度很快，如今正是他们最有创意的时分。而国内缺乏资源，BAAI 所做的就是经过同行引荐的方式将优秀的年轻研讨员发掘出来，“给他们学者称号，和科研上的资助，使他们少花工夫到各方面找钱，而是可以聚焦本人做的事情。这一代人才是我们的希望所在，我们的将来所在。”

愈加重要的是，BAAI 的投资方都是私营机构，也坚持采用愈加灵敏的民办非企业运作形式。黄铁军表示这种形式让 BAAI 在运营层面愈加的明晰，可以“集中力气办大事”，没有漫长的立项、央求、审批等流程。同时，这种形式实际上也赋予了 BAAI 在人才招募上更大的灵敏性，可以吸引更多目前在海外工作的华人研讨员，甚至优秀的外籍学者。

最终，BAAI 并不满足于经过深度学习这一条途径完成通用人工智能。在过去的一年里，该机构曾经组建了聚焦强化学习和类脑计算等其它重要方向的团队。

据黄铁军泄漏，BAAI 接上去还将着力研发生命智能模型“天演”、物理模型“天道”，从而让生命迷信和实际物理这两个重要的基础迷信方向，也能受益于超大模型、算力和算法，协助中国和全人类完成更多基础迷信打破。

必须用计算的力气，去探求这些全新的、很大程度上未知的范畴，人类才能离通用人工智能更近一点。
作者: wd吴东    时间: 2021-6-4 19:48
有没有什么需要注意的？
作者: 84088428a    时间: 2021-6-5 22:07
站位支持
作者: 陆见深    时间: 2021-6-6 16:42
确实不错，顶先



欢迎光临 智客公社 (https://bbs.cnaiplus.com/) Powered by Discuz! X3.5