智客公社

标题: 自然言语模型算法太杂乱？国产一致 AI 开源框架来了 [打印本页]

作者: ccloveqq 时间: 2020-3-31 07:38
标题: 自然言语模型算法太杂乱？国产一致 AI 开源框架来了

[attach]312599[/attach]

受访者 | 韩堃

采访者 | 伍杏玲

出品 | CSDN（ID：CSDNnews）

「AI技术生态论」人物访谈栏目是CSDN发起的百万人学AI倡议下的重要组成部分。经过对AI生态顶级大咖、创业者、行业KOL的访谈，反映其对于行业的思索、将来趋向的判别、技术的实际，以及长大的阅历。

2020年，CSDN将对1000+人物停止访谈，构成系列，从而勾勒出AI生态最具影响力人物图谱及AI产业全景图！

本文为「AI技术生态论」系列访谈的第五期，详解滴滴AI开源平台DELTA背后的技术框架与演进。

百万人学AI你也有份！参与文章回复，回复区留言当选，可获得价值299元的「2020 AI开发者万人大会」在线直播门票一张。

2019年8月，基于深度学习的语音和自然言语了解模型训练平台DELTA正式开源。一经开源，DELTA登上GitHub 热榜，获得 1k+的Star数，遭到深度学习框架Keras的作者François Chollet的关注。DELTA可助力AI开发者创建、部署自然言语处理和语音模型，构建高效的处理方案，让NLP运用更好落地。

在滴滴里，NLP和语音技术有重要的运用：经过智能客服系统来辅助人工客服，经过语音辨认和自然言语了解技术来研发驾驶员语音助手，让日本、澳洲等地的滴滴司机经过语音“免接触”接单。这些业务的背后，均运用到DELTA作为后台模型。

DELTA的原理是什么？为何要做这样一款AI开源项目？对此，本期「AI技术生态论」栏目专访滴滴AI Labs研讨员、DELTA项目担任人，韩堃，来一探求竟。

[attach]312600[/attach]

韩堃

[attach]312601[/attach]

模型算法很多？为何不一致同来？

韩堃在机器学习范畴已有10余年研讨阅历：自2008年起，他离开美国俄亥俄州立大学攻读博士，研讨方向是基于机器学习的语音处理。2014年毕业后加入Facebook，从事语音辨认、自然言语了解、引荐系统方面的工作。

自2018年起韩堃加入了滴滴AI Labs，目前带领一支十多人的团队做自然言语了解和语音处理方面的研讨和产品开发工作。

谈及DELTA的研讨初衷，是在韩堃加入滴滴之际，发现团队里用到各种深度学习和自然言语了解的模型算法很多。

特别在代码层面，有从开源项目拿来的，也有外部开发的，其中很多东西在功能上是可以复用的。

在这种状况下，韩堃和团队末尾思索：假如能把各种模型算法归入一致的框架下，将会加速算法开发迭代，也能促进团队更好的合作。

于是技术团队对自然言语了解的代码停止全体重构，把各种模型算法用一套系统一致同来，使代码易用易读易开发。在开发过程中，他们发现这套系统对于滴滴外部也是很有价值的，于是末尾思索把代码开源，并朝这一方面努力。

[attach]312602[/attach]

底层框架晋级，掉入兼容大坑

在DELTA疾速迭代的过程中，团队为了想运用到底层框架新版本的新功能，也曾掉入兼容的坑里：

一末尾DELTA是基于TensorFlow 1.12系统来构建的，在技术迭代的过程中发现TensorFlow晋级到1.14，引入很多新功能。团队为了运用新功能，迅速将DELTA的核心模块晋级到1.14。

结果导致参与研发DELTA的其他开发者的代码不兼容，出现了一些Bug。大伙立刻停下手上的工作来抓紧工夫修复DELTA，影响了全体的研发节拍。

经此一役，韩堃表示：在项目合作的过程中，触及到晋级版本是很常见的事。但是我们开发者需慎重推进，毕竟触及到很多其别人的工作和波动性。

汲取阅历总结，在TensorFlow晋级到2.0时，DELTA以兼容的方式同时支持2.0和1.14的代码后，再逐渐优化代码来晋级到2.0。

[attach]312603[/attach]

完成技术架构详解

由于自然言语处理模型和语音模型是众多AI系统与用户交互的接口，DELTA旨在进一步降低开发者创建、部署自然言语处理系统和语音模型的难度。

DELTA的完成细节：

DELTA次要基于TensorFlow构建，能同时支持NLP和语音义务及数值型特征的训练。整合了包括文本分类、命名实体辨认、自然言语推理、问答、序列到序列文本生成、语音辨认、说话人验证、语音情感辨认等重要算法模型，构成分歧的代码组织架构，全体包装一致接口。

[attach]312604[/attach]

当用户预备好模型训练数据，并指定好配置Configuration，模型训练pipeline可以根据配置停止数据处理，并选择相应的义务和模型，停止模型训练。

在训练结束之后，自动生成模型文件保存。该模型文件构成一致接口，可以直接上线运用，疾速产品化，能让从研讨到消费变得更容易。

值得留意的是，除可支持多种模型的训练，DELTA还支持灵敏配置，开发者可基于DELTA搭建成多达几十种的复杂的模型。

此外，DELTA在多种常用义务上提供了波动高效的基准，用户可以简单疾速地复现论文中的模型的结果，同时可在此基础上扩展新的模型。在模型构建完成后，用户可以运用DELTA的部署流程工具，迅速完成模型上线。从论文到产品部署无缝衔接。

[attach]312605[/attach]

三大优势

与其他自然言语处理和语音处理的开源项目相比，像Google的Tensor2tensor和Facebook的PyText等项目较侧重研讨，次要用于疾速的模型搭建和实验。而团队花很多工夫针对模型的产品化做开发，力图DELTA在工业级运用的支持上，能协助疾速上线和产品化。

总体来说，DELTA具有三大特点：

1、便捷运用

2、简约上线

3、快捷开发

[attach]312606[/attach]

滴滴夸、车载语音交互系统都在用DELTA！

在滴滴外部，DELTA运用在很多语音和自然言语处理的项目上，例如前阵子网友热议对司机发送“彩虹屁”的滴滴夸，其背后便是DELTA支持的自然言语了解模块：

[attach]312607[/attach]

另外，在滴滴与外部合作伙伴研发的车载语音交互系统中，整套对话交互系统是基于DELTA研发的。

谈及将来，韩堃表示在技术上，预备将DELTA的运用门槛进一步降低，让运用者更容易上手。开发Auto ML的功能，把参数调优进一步简化。在生态上，一是继续推行DELTA，二是思索加入顶级开源项目的孵化计划，以更高的标准去推进项目。

[attach]312608[/attach]

关于开源的建议

滴滴开源是滴滴出行高级副总裁章文嵩推进起来，目前滴滴已对外开源了39个项目，涵盖AI、小程序、智慧交通、中间件、前端框架、研发工具等，Star数已超过5.6W。

技术团队一末尾是奔着外部项目来开发DELTA，在外部开源后，得到一些积极反馈后，于是往外部开源，并在2019年的ACL会议上，配合滴滴的活动正式开源。

谈及开源，在CSDN 《2019-2020 中国开发者调查报告》中，77%的开发者每周在开源上投入工夫不超过5小时，其中1小时以内的占31%。对此，据韩堃观察，国内互联网行业工作压力较大，在工作之余去做一个开源项目的确不容易。

另外，在国内的IT环境里，一些开发者对于技术本身长期深化追求不是特别大，更多的是看中短期的收益。但韩堃以为，好的开源项目往往是经过后期相当长的开发和积累之后再发力的，这能够会使得国内开源开发者的动力不足。

韩堃表示，开源本身是有乐趣的，热爱开源的开发者会继续下去的。以其相识的国外开源开发者为例，他们非常积极地参加各种Meetup和讲座，并与非开源圈子内的人做交流，让更多的人看法开源、并参与出去，这些都是非常有协助的。

那么如何改善国内的开源生态？

韩堃表示，一方面需求业界领头人自动看法到开源的重要性，从顶层设计上去推进开源活动，另一方面也需求开发者们多和外界交流，让更多的人看法到开源不只仅是开发者的自娱自乐，而是有宏大价值的。

传送门：https://github.com/didi/delta

昔日福利：回复区留言当选，可获得价值299元的「2020 AI开发者万人大会」在线直播门票一张。快来动动手指，写下你想说的话吧。

作者: 隔壁老王的 时间: 2020-3-31 14:25
不错不错，楼主快出来写点实战经验哇~

作者: 荻哥的小窝 时间: 2020-4-1 10:03
关注，等大神更新完了再看！楼主加油！

作者: 3wingsun29 时间: 2020-4-2 08:49
顶顶更健康

欢迎光临智客公社 (http://bbs.cnaiplus.com/)