移动互联网“早古”时期，普通人由于支出差距成绩而无法做到人手一部智能手机，从而导致数字鸿沟。异样，在当前这个AI，也就是人工智能扮演越来越关键作用的时代，企业也站在了相似的选择交接线上——能否有足够的实力或才能拥抱智能化？而这个成绩的成本，可就不是一个小小的智能手机了。因短少AI人才、技术积累或财力支持而难以靠本身力气完成AI基础设备建设的企业，在智能化转型的过程中正将面临这样的智能化鸿沟，能否破解，很能够会关乎新十年中它们的命运走向。
1
如何消弭智能化鸿沟？
要处理成绩，就要先准确定位成绩所在。
一方面，构建AI才能对于普通企业来说，IT基础设备维护、AI框架搭建、训练和推理、硬件和软件、人才和巨额算力成本等这些“夯地基”的事情需求从零做起，但是大部分企业，尤其是传统行业企业并没有相关阅历；另一方面，智能化转型又火烧眉毛，企业需求疾速让本人具有AI才能，才能赶上不断变化的需求。
企业在AI运用开发和运用各阶段能够遇到的应战，
虽然不全，但已足够“应战”
包括那些有一定的AI人才、技术积累与创新才能，但仍不足以支撑本身智能化转型的企业在内，大家都在寻觅一种功能片面、部署便捷且性价比高的法子，来协助它们疾速完成AI才能的构建和部署。
这就给了云服务提供商大展身手的机会，经过输入快捷、高效、实惠的AI云服务，协助条件和实力不足的企业疾速部署和实际AI运用，它们可以做到既惠人，又利已。
2
不测！CPU成AI云服务抢手选择
紧迫的需求，曾经在过去数年催生了众多针对AI的云服务和产品，IaaS和PaaS级别的服务是主流，例如AIaaS (AI as a Service)、AI 在线服务、加强型 IaaS、企业级AI一体机，深度学习云平台等等，硬件搭配也是多种多样，例如基于CPU、GPU、TPU、NPU、FPGA等等，都在为企业AI转型提供包括基础设备构建及优化、AI运用开发和部署，以及AI 模型训练与推理效能优化在内的多种支持。
风趣的是，CPU作为通用途理器，在AI云服务的抢眼程度，并不亚于公用的AI加速芯片。经过实践运用分析，我们不难发现，假如不是专注于AI算法模型训练和开发的企业，大多数企业运用AI时其实更偏推理型的运用。对他们来说，基于CPU平台的云服务，特别是集成了可加速AI运用的AVX-512技术和深度学习加速技术的英特尔至强平台的AI云服务，其真实很多运用场景中都足以应对实战需求，且不论对于他们，还是云服务提供商而言，部署都更快、更便捷，上手门槛也低。
就这样，能够与大家的印象相悖，CPU成为了很多云服务提供商输入，以及企业采用AI云服务时的抢手选择，这使得以CPU为基础设备的AI云服务异军突起。
3
用CPU做AI云服务，集成AI加速是前提
如前文提到，基于CPU的云服务要受欢迎，并不是仅仅做好通用计算义务就够了，首先就要针对AI运用在硬件上集成特定的加速才能。
作为老牌CPU厂商的英特尔，早在2017年就于第一代至强可扩展处理器上导入了可以加速浮点运算（涵盖AI运算）的AVX-512技术；而后又在2019年推出的第二代至强可扩展处理器上集成了可以加速INT8的英特尔深度学习加速技术，专攻推理优化；2020年和往年，分别面向多路和单、双路服务器的第三代至强可扩展处理器依次亮相，后者靠INT8加速主攻推理，前者则经过同时支持INT8和BF16加速，兼顾了CPU上的AI训练和推理义务。
2021年面向单路和双路服务器的全新第三代至强可扩展处理器的次要优势，包括再次提升AI推理功能
CPU有了AI加速才能，用它来构建AI云服务的根基就已奠定。但为了充分发挥出这些硬件AI加速才能，英特尔还同步提供了一系列开源AI软件优化工具，包括基础功能优化工具oneDNN，可协助AI模型充分量化应用CPU加速才能、预置了大量预优化模型并能简化它们在CPU平台上部署操作的OpenVINO，以及可以在现有大数据平台上展开深度学习运用，从而无缝对接大数据平台与AI运用的Analytics Zoo等。英特尔还将oneDNN融入了TensorFlow、Pytorch等主流AI框架，将它们改形成面向英特尔架构优化的AI框架。
经过这些举措，英特尔架构CPU平台加速AI运用的软硬两种才能就有了“双剑合璧”的效果。而英特尔和云服务提供商合作伙伴的实际，也正是基于此展开的。
4
CPU AI云服务第一式，软硬打包上手快
得益于英特尔提供的片面AI加速软硬件组合，多数云服务提供商无需做更多调整和优化，就可迅速打造出针对AI的基础设备即服务或AI云主机产品。简单来说，就是将集成AI加速才能的至强可扩展平台与我们提到的软件工具，例如oneDNN或面向英特尔架构优化的AI框架软硬打包，就可疾速构成易于部署和扩展的AI云主机镜像。
国内有云服务提供商早在2017年就停止了相似的尝试，经过运用英特尔优化软件，它激活了至强平台的AI加速潜能，并在部分运用场景完成了可与GPU相媲美的推理功能。
假如仅有功能优化还不够，还需求更快的模型部署才能，那就可以像CDS首云一样导入OpenVINO。它经过至强可扩展平台、高功能 K8S 容器平台和OpenVINO Model Server这三者的组合大幅简化了AI模型的部署、维护和扩展。功能实测结果也表明，OpenVINO不只在用户并发接入才能上优于首云此前采用的AI框架，在推理运用的时延等关键功能目的上也有良好表现。
CDS首云AI云服务方案架构
5
CPU AI云服务第二式，深度优化收益多
仅仅是导入英特尔曾经就绪的AI软硬件组合，就已能输入令人满足的AI云服务了，那么假如是和英特尔在AI云服务的算法及模型上停止更深化的优化，又会有什么惊喜呢？像阿里云这样的头部云服务提供商就经过实战给出了答案。
以阿里云为例，其机器学习平台PAI在与英特尔的合作中，应用了第三代英特尔至强可扩展处理器支持的bfloat16加速，来主攻PAI之上BERT功能的调优，详细来说就是以经过优化的Float32 Bert模型为基准，应用BF16加速才能优化了该模型的MatMul算子，以降低延迟。测试结果表明：与优化后的FP32 Bert模型相比，至强平台BF16加速才能能在不降低准确率的状况下，将BERT模型推理功能提升达1.83倍。
阿里云PAI BERT 模型优化方案
6
CPU AI云服务第三式 扎根框架打根基
假如说从提供软硬协同的基础平台到定向深度优化算法，算是AI云服务在优化程度上的迈进，或者说云服务提供商与英特尔在AI云服务构建和优化上的深化合作的话，那么假如有云服务提供商能在深度学习框架这个AI基石上与英特尔展开合作，那是不是会更具意义呢？
为这个成绩输入答案的是百度，它的开源深度学习平台“飞桨”先后结合第二代和第三代至强可扩展处理器在计算、内存、架构和通讯等多层面停止了基础性的优化。其结果也是普惠性的——优化后的飞桨框架可以充分调动深度学习加速技术，可将众多AI模型，特别是图像分类、语音辨认、语音翻译、对象检测类的模型从FP32瘦身到INT8，在不影响准确度的状况下，大幅提升它们的推理速度。
英特尔深度学习加速技术可经过1条指令执行8位乘法和32位累加，INT8 OP实际算力峰值增益为FP32 OP的4倍
例如在图像分类模型ResNet50的测试中，飞桨搭配英特尔往年发布的全新第三代至强可扩展处理器对其停止INT8量化后，其推理吞吐量可达FP32的3.56倍之多。
如此功能增幅，再加上CPU易于获取、应用和开发部署的优势，让飞桨的开发者们可借助AI框架层面的优化，愈加疾速、便捷地创建本人可用CPU加速的深度学习运用。而为了给企业开发者们提供更多便利，百度还推出了EasyDL和BML（Baidu Machine Learning）全功能AI开发平台，经过飞桨基于全新第三代至强可扩展处理器的优化加速，来为企业提供一站式AI开发服务。
百度飞桨开源深度学习平台与飞桨企业版
7
展望将来，跨越智能化鸿沟不只靠算力
前文CDS首云、阿里云和百度的实例，可以说是充分反映了用CPU做AI云服务的现状，而这些云服务也正是为当前希望跨越智能化鸿沟的企业设计的。当然，它们也会持续演进，比如说随着将来AI技术的进一步发展，特别是大数据与AI交融带来的新需求，不论是用CPU还是公用加速器，不论是企业自建AI基础设备和运用，还是云服务提供商输入的AI云服务，都会在数据存储而非算力下面临越来越多的应战。
毕竟，算力、算法和数据是并驾齐驱的“三驾马车”，随着数据规模进一步暴增，数据存储也将对AI的部署和运用带来更多应战。
好音讯是，国内的云服务提供商也早已和英特尔就此展开了前瞻创新，例如百度智能云早在2019年就推出了ABC（AI、Big Data、Cloud）高功能对象存储处理方案，能应用英特尔傲腾固态盘的高功能、低时延和高波动来满足AI训练对数据的高并发迭代吞吐需求。
值得一提的是，英特尔在往年发布全新第三代至强可扩展处理器时，也带来了与其搭档的英特尔傲腾持久内存200系列和傲腾固态盘P5800X。
与全新第三代至强可扩展处理器搭配运用的傲腾持久内存和固态盘新品
置信将来会有更多专攻AI运用场景的存储系统导入这些新品，把更多数据存放在更接近CPU或其他加速器的地方，从数据就绪或“供给”层面提升AI推理和训练的功能。而提供这些AI优化型存储系统或服务的，多数也很能够是技术实力雄厚的云服务提供商们，这样一来，用户就不用担心在应对智能化鸿沟时再遇到大数据和AI对接的难题了。 | 
