还只会卷论文吗？70页报告解密顶级大厂如何玩转AI技术

机器之心深入调研网易，发布70页报告深度解密「别人家」的AI技术团队如何驾驭技术、实现业务发展。开始抄作业吧！附下载链接，拿走不谢！

身处「增长要靠技术造」的后移动互联网时代，AI技术团队要如何走出发顶会论文容易，实现业务增长难的怪圈？
面对不断迭代的AI技术，业务团队又应如何挑选合作伙伴，与何种架构思路的AI技术团队合作，才能行之有效地为自身插上AI的翅膀？
在充满无限可能的未来，自带颠覆属性的AI技术又将在哪些方面带来潜在的变革？哪些前沿AI技术值得关注布局？
在联合网易智企团队共同开展了为期数月的调查研究后，机器之心交出了一份长达70页的报告，作为对以上问题的回应。



报告以网易智企为研究对象，通过透视网易智企AI技术团队响应互联网内容井喷式增长、在线实时互动刚需化以及自然语言处理技术范式升级的技术方案与合作案例，为憧憬通过驾驭AI技术把握时代机遇的现代企业提供一套在实践中行之有效的方法论。
报告的第一、二章围绕「后移动互联网时代」的新机遇展开，对市场机会与技术挑战进行分析，通过对网易智企AI技术团队首次公开的技术方案进行深入算法层面的显微镜式解读，剖析网易智企如何在工业实践中通过驾驭AI技术，实现内容风控、音视频及自然语言对话三大技术的高效迭代。
报告的第三章对数据、模型、解决方案、算法及部署这五个AI系统架构关键方面逐一展开，以网易智企AI技术团队所采用的架构为线索，总结当前AI系统架构的创新发展与实践方法论。
报告的第四章通过研究网易易盾、网易云信和网易云商与汽车之家、网易云音乐及松果出行的三个真实技术合作案例，解答了企业如何通过采用高效、专业的AI解决方案抓住市场机遇，实现业务创新与发展突破的问题。
报告的最后两个章节，从可信AI与Data Centric AI 两方面探讨当前人工智能技术的变革趋势，洞察业界在这两方面的最新工作进展；从多模态、无监督与超大规模和工程自动化三个相对前沿的技术方向出发，汇总学界与业界的观察与展望。



由于本文篇幅有限，以下仅结合报告第一、二章节的部分内容为读者进行解读。获取完整报告可点击文末「阅读原文」链接。

一、后互联网时代，新机遇带来新的技术挑战

过去的十年是计算机视觉、自然语言及语音等领域取得了革命性进展的十年，同时也是全球范围内移动互联网、多媒体互联网与各行各业深度融合，数字科技不断为社会发展带来惊喜的黄金十年。
在这十年里，音视频通信从网络社交深入日常办公、生产及生活场景；点播、直播产业在全球范围内崛起；对话机器人成为大众服务行业标配。数字产业的创新发展，为各行各业开拓了新的业务场景，也为现代企业带来了新的发展机遇。
随着深度学习等新一代AI算法在计算机视觉、自然语言及语音等领域取得突破进展，音视频、网络安全等已广泛商用的数字技术又迎来了新的技术升级契机。

• 互联网内容井喷式增长，带来对内容风控技术的挑战与升级需求
  
• 移动办公、在线互动等实时音视频应用刚需化，带来对音视频技术的挑战与升级需求
  
• 自然语言处理范式革新，带来对客服机器人/自然语言对话技术的挑战与升级需求
  
• 
  

二、AI加持把握机遇：驾驭不断升级的技术需求

新机遇、新场景对内容风控、音视频及客服机器人等数字科技提出了新的需求，而AI技术的融合应用在驾驭不断迭代的技术的过程上扮演着尤为关键的角色。
注：报告对以下方案进行了详细的细节阐述，由于本文篇幅有限在此仅进行简要介绍。感兴趣的读者可点击「阅读原文」下载完整报告。

驾驭AI加持下的音频技术

AI技术的发展推动了相关音频算法的不断涌现。这些 AI 算法虽然能够在某些特定问题或实验室数据上获得优异表现，但往往存在高成本、无法适应真实应用场景、难以处理高维度声音环境等工程化问题。这些问题往往导致音频AI算法在真实场景中的落地困难。
作为对AI算法落地难问题的响应，网易云信团队的解决方案是将AI 与 DSP 进行结合、提升 AI 算法在复杂场景的泛化能力、端侧落地的低开销与稳定性，以及研发实时音视频环境中的AI算法。

• 结合AI 与DSP 算法
  

数字信号处理 (DSP) 算法是传统音频处理任务的基础。AI 音频算法相比传统 DSP 处理算法，对处理复杂的真实场景存在一定短板，同时也带来更大的开销。

• 提升复杂场景下的泛化能力
  

大部分 AI 算法在音频通话场景和针对目标声音的训练、验证集上会有很好的效果，但在未见过的测试集上效果会有所回退。为了提升算法在常见环境中的泛化能力，云信团队选择了从实时音视频通信（RTC）领域的数据集入手。在 AI 音频通话算法的研发过程中，云信团队针对场景、采集设备，自行做了大量的数据采集和标注。通过开源数据、采购数据，对噪音进行实际录制，沉淀了一个多场景噪声集。

• 低开销端侧落地与稳定性提升
  

针对端侧性能提升，云信团队主要通过算法模型剪枝、推理加速、推理指令集优化等操作实现。

• 实时音视频环境中的AI算法
  

针对 RTC 场景，网易云信成功研发了轻量级、适合全平台终端的 AI 音频降噪算法。作为国内行业中的首个 AI 音乐训练检测模型，网易云信结合了自研的帧间频域特征和一个轻量级神经网络，训练出了一个音乐检测率高、鲁棒性强、计算开销小，适合在各个端侧落地的 AI 模型。
2021年，云信团队的两篇论文被第 50 届国际噪声控制工程会议INTER-NOISE收录。
「A neural network based noise suppression method for transient noise control with low-complexity computation」提出使用 AI 抑制键盘、敲门声等。该算法使用了优化的谐波相关性（Modified Harmonic-Correlation），和独创的损失函数，在一个 RNN 模型上进行训练。在终端运行时，算法结合了网易云信自研的 NENN 推理框架，在大幅提升降噪效果的同时，保持了一个极低的运算复杂度。
「A real-time music detection method based on convolutional neural network using Mel-spectrogram and spectral flux」提出了一项音乐检测器，利用 CNN网络对不同场景中的音乐声音进行检测和减损。作为国内行业中的首个 AI 音乐训练检测模型，网易云信结合了自研的帧间频域特征和一个轻量级神经网络，训练出了一个音乐检测率高、鲁棒性强、计算开销小，适合在各个端侧落地的 AI 模型。通过对环境声音的检测，模型能够区分出音乐和非音乐场景，并基于此先验信息，对 RTC 中音频 APM 处理进行有针对性地调整，在保证语音信号质量的同时，大幅提高音乐信号的质量。
2022年，云信团队的麦克风啸叫检测方法被 ICASSP 2022 收录，在该工作中云信团队采取了一种基于卷积递归神经网络的方法，用于 RTC 应用中的啸叫检测，实现了出色的准确性和低误报率。

驾驭AI加持下的视频处理技术

视频处理技术指的是对全图或全图中某一区域做视频效果的改进和提升，因此需要进行像素级处理。RTC 实时通信、直播及点播场景业务往往大量使用720p 和 1080p 等高清分辨率，导致处理的数据量非常大，但以上场景对画面质量存在较高要求，不能采用下采样等方式来降低数据量，这要求视频处理算法必须能够兼顾计算实时性及低功耗的要求。
从2020年初至今，云信团队在稳定的视频通信质量基础之上，成功研发了多种智能视频处理与编码技术，包括实时 AI 视频超分算法、智能视频增强算法、深度学习的视频编码器等，为直播、点播和 RTC 场景提供核心技术。视频处理技术目前服务于网易云信音视频通话SDK、网易传媒、有道、LOFTER和网易云音乐等产品线。
其中，云信团队深耕的技术方向包括轻量级网络，针对视频处理模型、推理设备的深度优化，以及持续改进计算机视觉网络设计和训练方法。

• 轻量级网络
  

智企云信 RFDECB 是云信团队设计的自适应神经网络，设计采取了逐级的残差特征提取，加上每级的重参数化结构，能更高效地提取图像特征，且运行速度快。RFDECB 在顶级学术会议 CVPR NTIRE 2022 获得高效率超分辨率挑战赛总体性能赛道冠军，以及运行时间赛道季军。

目前，基于 RFDECB 网络的视频超分技术已经落地云信音视频通话 SDK，服务超过 10,000 家客户。云信智码超清云转码技术也是搭建在 RFDECB 网络之上，为客户提供了视频清晰度更高且码率降低 40% 以上的转码，广泛应用于直播点播、互动直播业务。

• 模型优化技术
  

为了能在各种设备上运行，云信团队对模型进行了大量优化，保证模型处理的高效，同时保持效果稳定。这些优化大量使用了模型剪枝技术来压缩模型参数量，用以减少推理时间。另外，优化还尝试了多种蒸馏方法。

• 设备优化技术
  

大量的计算发生在端侧，尤其是移动端，各种设备参差不齐，只靠轻量级的网络不能完全解决问题。云信团队针对移动端自研了自己的深度学习推理框架，自研推理框架大量使用 GPU 进行推理计算，同时对 CPU 进行了大量精细的 SIMD 优化。
除了常规的优化外，云信团队还对视频处理的特点做了创新性的优化，使用 int16 量化和稀疏推理。基于上述技术优化，云信团队的深度学习算法在大量移动设备中得以应用，即使在一些较差的设备上也能运行视频超分等算法，有效地提升了用户视频的体验。

• 网络设计和训练方法优化
  

在目标检测、识别分割处理两大类任务上，云信团队通过网络设计优化、训练方法优化分别提升了上述任务的效果。
在优化网络设计方面，云信团队将流行的 encoder-decoder 网络结构及其变体设计成为主干网络。为了进一步增大感受野，同时更高效地融合各层特征，加入类金字塔结构。
除了图像数据外，在 loss 上加入各种特征信息提升学习效果。在训练方法上，云信团队标注了大量数据，同时采用了如下多种方法，包括数据增强扩充样本、随机更换、多尺度训练、难例挖掘等。

驾驭AI加持下的客服机器人/自然语言对话技术

自然语言对话技术要求系统具备从零学习的能力，快速领悟行业知识，并且针对业务场景进行多轮、有效的对话。在自然语言对话技术的支持下，智能客服机器人提供从文字咨询、智能外呼、业务办理等多维度的客户服务，从客户获取到订单管理实现了无人化、智能化，并越来越多地在金融、零售、房地产、物流等行业应用。
自2016年以来，网易云商团队（以下简称「云商团队」）不断完善旗下的智能机器人产品网易七鱼，目前已有40万+企业客户正在使用云商提供的在线客服、云呼叫中心、客服机器人、工单系统等服务。
云商团队非常重视对前沿自然语言对话技术的提升：通过优化客服的语义匹配算法和对话框架，云商团队高效解决了复杂场景下的访客需求；通过形成基于行业 know-how 的知识包，成功提高了场景的快速落地能力；通过分布式计算及去 GPU 化，实现了自然语言对话系统的低成本及高可用性。这些技术推动云商智能客服机器人的持续进化，提升客户的满意度。

• 构建高效解决访客需求、低成本、高可用的技术方案
  

为了不断优化机器人的应对能力，云商团队着力于提升基于大模型、多模型集成与知识蒸馏的语义匹配算法、 基于FAISS 语义搜索引擎的智能推荐方案和基于知识图谱的问答能力等三个方向。
1.基于大模型，多模型集成与知识蒸馏的语义匹配算法
云商智能客服机器人的基础功能是识别访客意图。云商团队采用当前主流的 Transformer 结构，同时使用蒸馏加上多模型集成思想，既提升了模型的推理速度，也提高了意图识别的精度。算法采用 sentence-bert 模型思想，并在此基础之上做了重点优化。
2.基于 FAISS 语义搜索引擎的智能推荐方案
为了方便 B 端客户配置自己的知识库，云商提供智能问法推荐功能。根据客户的问题和语义搜索引擎，系统会提供一系列语义相似但是表述不同的句子供选择，帮助客户快速完成配置工作。云商团队使用的算法是基于 FAISS 的语义搜索引擎。云商团队采用的模型是客服领域的专用模型，同时对向量长度执行 PCA 降维操作，进一步提升检索速度。
3.基于知识图谱的问答能力
云商还能提供表格知识图谱的功能，精确识别不同的商品型号，以及型号的不同属性。云商团队把销售领域表格分为实体、属性、答案三个部分。通过识别实体和属性，系统能够锁定唯一的一个单元格，把答案反馈到 C 端客户。在这个功能的基础之上，云商的表格知识图谱还支持上下文对话能力，具备反问和推荐的能力。

• 实现低成本及高可用
  

作为平台型应用，云商团队不断升级多种技术指标，确保服务业务场景的丰富性和持续反馈。在低成本及高可用的总目标下，云商团队的工作重点是白名单管理平台、计算降本增效（去GPU化）、模型多版本管理平台以及业务问题定位及效果监控。

• 实现快速冷启动
  

云商智能机器人的表现基于对行业知识和对话语境的理解，这就要求初始系统具备学习行业知识和极强的变通能力。为了实现快速冷启动，云商团队的技术重点是打造基于行业的知识包和构建冷启动助手。
1.打造行业知识包：云商团队使用 FAISS 语义检索引擎，通过设定不同的阈值条件获得分层聚合的检索结果，并进一步通过DBSCAN完成余下内容的聚类合并。最后通过人工挑选，完成整个行业的知识沉淀。
2.构建冷启动助手：云商团队从获得「近似问法」入手，使用 Paraphrase 生成模型，获得一批相似问法候选项，再通过排序模型，获得最后的相似问法集。另外，云商团队采用了称为「回译」的方法增加相似问法，该方法借助于翻译模型，将标准问法翻译成英、日、法、德等多国语言，再将翻译结果译回中文，以此获得近似问法。

• 获得AI能力的持续优化、发挥人机交互的协同优势，提高交互智能度
  

1.FAQ 知识库的持续构建：云商团队的研究重点是基于人工客服会话的问答提取方案和基于说明文档的问答提取方案。
2.基于人工客服会话的问答提取方案：云商团队使用了一种基于客服会话自动构建 FAQ 的方法。首先，利用开源文本相似度语料（如ChineseSTS）训练 Sentence-BERT 模型，将与客户对话的句子向量化。向量化后的文本可利用余弦相似度来衡量文本之间的语义相似度。随后，利用相关规则提取会话中的问句。以语义相似度为权重构建无向连通图，通过改造 PageRank 算法对所有问句进行关键度排序，获取关键问句作为标准问句。最后，将标准问句后面客服的三句答复作为答案候选。通过答复和问句之间的主题相关度进行排序，得到最终答案。

3.基于说明文档的问答提取方案：云商团队还可以根据用户提供的文档提取问答内容，构建云商平台的 FAQ 知识库。云商团队使用一站式的方式，从文档中抽取问答对。这样能够同时提取问题和答案，使问题生成和答案抽取的过程相互影响，有效提升问答对抽取的准确率。问答提取模型采用的是基于 Transformer 的 seq2seq 架构，实践中使用 BART 模型，由双向编码器、自回归解码器构成。
· 智能外呼交互体验智能度提升
云商团队着手降低算法的不可控性。目前，外呼系统的实现方式采用流程图的形式进行对话状态跟踪（DST）、对话策略（DP）、自然语言生成（NLG）的规则配置。算法主要基于（NLP）技术识别用户意图，通过ASR纠错、噪声过滤、意图识别及实体抽取等环节提取实体信息。



1.ASR 纠错：ASR 基于端到端框架的流式语音识别系统，支持智能打断功能。ASR 纠错作为 ASR 模块的补充，用于纠正转写过程中出现的错误。纠错过程结合云商机器人的问题，构建出有效的上下文信息，理解用户的内容进行错误识别与纠正。这个补充能够缓解 ASR 转写存在的上下文依赖问题，降低专有名词、近音字的错字率。
2.噪声过滤：在ASR纠错后，系统会进行语义检测，通过语义过滤掉无意义和不相关的回复。
3.意图识别：系统会通过内置行业知识库和模型，根据用户所属行业领域进行识别。整体上，采取相似度匹配和分类相结合的方式：识别结果依旧优先采用自定义知识的匹配结果，保证用户的特殊配置需求；未匹配到时，依赖领域知识和内置分类模型给出的识别结果。
4.实体抽取：提取出用户说话内容中的重要信息，如姓名、地址、时间等，方便后续的数据统计和分析。提取的对象包括内置常用实体和自定义实体两种。常用实体采用 BERT 预训练模型，具有较高的准确率；自定义实体通过配置规则和相似问的方式，具备较高的灵活度。
通过文末链接免费获取报告，进一步探索AI在内容风控、音视频通信及自然语言对话领域的应用实践。
报告获取：
https://jiqizhixin.mikecrm.com/NbwsJ6q

转发了