找回密码
 立即注册
搜索

概念莫混淆:智能计算机不是超级计算机





■本报记者 赵广立

日前,武汉城市人工智能(AI)计算中心建成投用,媒体在报道该中心算力时称:“中心一期建设规模100P FLOPS人工智能算力……其算力相当于5万台高功能计算机。”该报道一出,引发高功能计算范畴专家关注。相关专家对《中国迷信报》表示,该报道内容对“超级计算机”与“智能计算机”看法不清、概念混淆,极易引发误导。

中国迷信院计算技术研讨所研讨员、中国计算机学会高功能计算专业委员会秘书长张云泉告诉《中国迷信报》:“智能计算机不是超级计算机,两者的概念应该区分清楚,否则能够会惹起行业混乱。”

超级计算机还是智能计算机

目前业界用于衡量超级计算的Linpack测试,测试的是超级计算机的“双精度浮点运算才能”,即64位浮点数字的计算(FP64)。在以二进制所表示的数字精度中,还有单精度(32位,FP32)、半精度(16位,FP16)以及整数类型(如INT8、INT4)等。数字位数越高,意味着人们可以在更大范围的数值内表现两个数值的变化,从而完成更准确计算。

与许多迷信计算等不同,AI所需的计算力不需求太高精度。“比如一些AI运用需求处理的对象是语音、图片或视频,运转低精度计算甚至整型计算即可完成推理或训练。”张云泉说,这种公用计算机处理AI算法速度快、能耗低,这是由其特点决议的。

智能计算机是一种公用算力,在推理或训练等智能计算方面的确表现出色,但由于AI推理或训练普通仅用到单精度甚至半精度计算、整型计算,多数智能计算机并不具有高精度数值计算才能,这也限制其在AI计算之外的运用场景运用。

而超级计算机是一种通用算力,其设计目的是提供完备、复杂的计算才能,在高精度计算方面才能更强、运用范围更广,比如迷信家常运用超级计算机停止行星模拟、新材料开发、分子药物设计、基因分析等迷信计算和大数据处理。

中国工程院院士陈左宁曾笼统地将运用超级计算机做AI计算比喻成“大马拉小车”,来阐明超级计算虽然“十项全能”,但毕竟不是为AI量身打造。智能计算机由此兴起。

此前曾一度热炒的AI与超算交融,其实正是将改良的计算机“AI公用化”,严厉意义下去说,它们曾经不再属于传统超算范畴。

“如今不论超级计算中心落成还是智能计算中心,都宣称算力是多少‘FLOPS’,其实这个单位是‘每秒浮点运算才能’,而一些智能计算机的单位其实是‘OPS’——每秒操作次数。假如不加区别地报道,大家很容易误以为是同一种计算精度、同一种计算才能。”张云泉说,这也导致一些地方以为花了小钱建了世界顶级的“大超级计算”,好像占了便宜;等项目上了马,将项目引见给超算业内人士时,才恍然大悟。

用新目的引导行业健康发展

张云泉告诉记者,除了混淆智能计算机和超级计算机之外,业内还存在另外一种误导。

“有些厂商还会模糊智能计算机的推理功能和训练功能。”张云泉告诉《中国迷信报》,“与推理相比,训练功能往往需求计算精度高一些,比如32位甚至64位;而大部分功能‘耀眼’的AI芯片,往往指的是其推理功能,而且能够只是实际值。”

对于AI计算而言,训练功能往往更重要——许多智能模型正是依赖于此。张云泉说,训练模型的计算量与参数量成反比,而且需求反复迭代,直到达到理想的效果。

假如要画一张AI所需算力的表示图,“推理”位于算力矩阵的最下层,由于半精度算力(FP16)或整型算力(如INT8)即可满足推理需求;排在其上的是“训练”,普通需求运用单精度算力(FP32)或半精度算力(FP16);对算力需求最高的是类脑“模拟”,它需求双精度算力(FP64)和低精度算力同时支持。

“混淆传统超级计算与智能计算、混淆智能计算的训练功能和推理功能,这两种状况都能够会导致用户或地方政府错误决策——他们本意是建设弱小的计算集群,最后却只建成了一台只要推理功能的机器。”张云泉说。

对此,张云泉以为,需求一个简单、有效的目的来协助判别系统的AI算力和整个高功能AI范畴的发展状况,从而防止行业乱象。

2020年11月,张云泉结合清华大学教授陈文光、美国阿贡国家实验室研讨员Pavan Balaji和瑞士苏黎世联邦理工学院教授Torsten Hoefler,与ACM SIGHPC China委员会共同发起了基于AIPerf大规模AI算力基准评测程序的“国际人工智能功能算力500排行榜”。记者留意到,这一榜单的算力单位是OPS。

“超级计算与AI计算,一码归一码,需求一个新的标尺来引导AI计算行业走上健康发展的道路。”张云泉说。

国产AI芯片正待奋起直追

算力始于芯片。在AI芯片赛道上,我国拥有华为(昇腾)、百度昆仑、燧原等芯片设计企业,但即便如此,国内的智能计算机仍很少能绕过美国GPU巨头英伟达。

这是一个无法的理想:国内下马诸多智能计算中心,英伟达是切实在实的受益者。

“专门做智能计算的AI芯片,只需核数足够多、主频足够高,就可以完成速度更快、在低精度计算中高出几个量级的功能。但假如某个计算集群既需求高精度计算又需求低精度计算,这对AI芯片的要求就高了。”张云泉说,英伟达的GPU各种精度的计算才能都很突出、比较平衡。这也是大部分国产AI芯片难以与英伟达GPU硬碰硬的缘由之一。

不过,国产AI芯片并非完全没无机会。

首先,当下我国的算力基础设备,都有激烈的国产化志愿。即便英伟达、英特尔等巨头虎踞龙盘,但基于综合成本、生态等各类要素,国产化的大潮仍不可阻挠。

其次,就AI当前发展而言,场景、数据、模型、算力缺一不可,这也就意味着,中国将是将来全球AI算力富集地。AI芯片作为核心需求,不能够被一种形状、一种生态所垄断,寒武纪、昇腾等国产AI芯片的佼佼者仍坐拥宏大发展空间。

专家以为,虽然芯片是算力的次要来源和最根本的物质基础,但是算力的消费、聚合、调度和释放是一个残缺过程,需求复杂系统的软硬件生态共同配合,才能完成“有效算力”。因此,不能只关注芯片的单一功能目的,更要注重下层软件运用生态。

没有宏大算力无法发展AI?

在算力概念被混淆的背后,是AI计算有如脱缰野马普通疯长的算力需求。

由多位硅谷“大亨”结合建立的人工智能非营利组织OpenAI,在2020年5月推出了其新一代无监督的转化言语模型GPT-3,目前已有1750亿参数,训练数据量达到45TB(约1万亿单词量)。

GPT-3模型目前曾经在语义搜索、文本生成、内容了解、机器翻译等方面获得严重打破。其最大价值是证明了机器在无监督下的自我学习才能,验证了纯粹经过扩展规模即可完成功能提升。

更壮观的是,万亿参数模型曾经在路上。6月初,北京智源人工智能研讨院发布了“悟道2.0”,宣称达到1.75万亿参数,超过之前由谷歌发布的Switch Transformer,成为全球最大的预训练模型。

迅猛增长的参数体量,也意味着更高的计算需求——有的能够需求数千块GPU来提供必要的算力。张云泉说,相似GPT这样的巨模型,对算力的需求“不是闹着玩的”。

难道,没有宏大算力就无法发展AI吗?

张云泉以为,在目前AI的发展阶段(感知智能和认知智能)中,算力照旧是第一位的。

他的理由是,发展AI可以经过算力提升、算法革命等途径停止,但在“资本导向”的现阶段,相比不确定性的算法模型打破,算力提升是个更容易的选择。

但必需要指出的是,运用宏大算力并不是人工智能发展的独一方向,GPT-3这样的巨模型异样存在缺陷,如缺乏常识等;而探求人脑奥妙机理,完成小数据学习、迁移学习也是重要手腕。

毕竟,大脑的功耗只要20瓦左右,创建低能耗的智能系统或许是更重要的努力方向。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

大神点评1

不至于台 2021-6-17 10:25:57 显示全部楼层
智能计算机,超级计算机,文字差之毫厘 算力差以千里啊
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册