运营人员如何优化机器人客服效果？

这篇文章次要面向运营人员（包括训练师、标注人员等），分享一些优化机器人客服效果的方法论，欢迎各位同行交流指正。

客户的赞扬率上升，这是很多大型企业在停止客服中心智能化改造时顾虑的要素。

机器人客服，尤其是语音方向，对应对的准确性、自然程度有较高的要求，否则会出现机器人自说自话、转人工率过高等状况，非但没有减轻人工客服的压力；反而导致赞扬变多，言论压力大。假如机器人效果优化不上去，还不如用人工。

语音类比文本类机器人客服多用了一些技术，如ASR、TTS。目前市场上拟人度高的TTS音色有很多，假如希望效果更好，就用录音+TTS方式处理客户信息等变量。这里和机器人辨认效果提升有关，就不多展开了。

一、ASR优化

ASR是机器人应对准确率的第一道门槛。

客户电话出去的语音由ASR转写成文本，才会交到语义辨认模块停止分析，假如连耳朵都听错了，就别怪大脑了解不了。

目前，主流厂商通用模型的语音辨认准确率虽然很高，但实践落地后，都会遭到范畴、噪声、口音等成绩减弱效果，实践字准确率不大于80%。

运营人员普通是从两个方面做优化：

1. 言语模型


运用与本人场景相关的文本数据训练模型，如快递行业“包裹”VS教育行业“包过”，或者不易辨认的范畴专有名词，如“蚂蚁借呗”。

这个方法比较普遍，训练效率较高（分钟级），运营人员可以在机器人上线前把一切问答话术提供给算法工程师或者ASR提供商，灌到模型中训练。往常日常监听也可以及时纠错，会提升对特定词汇的辨认率。

2. 声学模型


根据一致规范，在保证标注准确的状况下，可不断积累训练数据。运营人员提供上百小时的音频及对应的正确文本，用来优化声学模型。

这个方法训练工夫较长（按天计算），且对模型训练的机器有较高要求，成本较高。

注：

声学模型训练集中可以分出一部分数据生成测试集运用，这样可以疾速检测模型优化效果，不用等到上线之后。靠人为测听上线之后的效果，没有数字支撑、无法保证复现，效率较低。这两种方法没有冲突，运营人员可结合实践状况停止选择。产品层面也可以做一些优化功能，方便运营人员停止标注及测试，减少线下工作。

二、语义辨认的优化

1. 如何发现成绩？


耳朵听清楚了，大脑也要聪明。

目前行业内主流的客服机器人大多用“语义了解+正则婚配”的方式做辨认。

那么，如何发现机器人的语义辨认成绩？

这里分为两种状况：机器人知道本人“错”了，和机器人觉得本人没“错”。

1）机器人知道本人“错”了，表如今拒识或没有直出答案的状况，详细目的体如今置信度或婚配度没有到达规定的阈值。此时运营人员根据数值，可以比较有针对性地停止查看及优化。

这里的错不完全是婚配成绩，拒识，不一定是坏事。当客户问起和业务毫不相关的成绩，机器人完全可以用拒识对应的话术来减少与客户没必要的周旋（闲谈机器人除外），所以一些用户问我们完全可以当做拒识处理。

2）机器人觉得本人没“错”，表如今机器人可以回答成绩，但却不是客户想要的答案，详细参考目的为点踩率（不带语音）、转人工率等。

但假如用户没有任何称心度反馈，此时就要借助人工停止检测，经过查看对话记录，停止对每句成绩的质检。普通数据量较庞大时就以抽检的方式，目的次要是修正错误答案并拿到准确的统计数据，详细输入的目的有精准率、召回率等。根据数据，运营人员可以直观看到效果好坏。

2. 如何针对成绩优化？


关于优化，每家都有各自的方式，需求留意的是，标注时遇到不置可否的成绩，一定要与团队停止沟通确认，保证意图之间没有堆叠及错误。不然越到后期，机器人了解才能也越会遇到瓶颈，外包标注尤其需求规避这点。

3. 如何测试优化效果？


语义辨认的测试，可以直接用测试集停止文本测试，机器人答对了代表测试经过，答错了继续补充。这里运营人员在编写测试集的时分，尽量避免和训练集相似度太高，保证最终模型的泛化才能。

在全体测试的时分，是盲测好，还是提早限定好范围去问呢？

举个例子：

在语音外呼场景中，话题普通不是开放的，能够通篇只围绕一件事，比如催收。此时面向的客户，接听电话也基本是按照机器人引导方向去回答。此时可以按照写好的“剧本”停止呼测，而不需求特意测试一些和场景有关的成绩。

总之，测试方式要按照实践的运用场景选择，可以起到事半功倍的效果。

除了语义辨认可以优化，经过途径流量分析、对话轮次、客户画像等，我们也能检测到对话的健壮性和话术设计的能否合理。

上线后，可以把优化前后的机器人做个AB test，根据几个运营目的和质检目的，停止评定。

三、结尾

总结一下，运营人员可以经过工具和统计数据，系统地对机器人停止分析和优化。还有一个好处，就是可以从数据中不断发现新的运营方法论。反之，应尽量避免像黑盒一样，纯靠测听修正。

写到最后，假如这篇文章对产品经理们也有所启示，希望大家可以尽量为运营人员提供方便好用的优化工具。

标注测试是一项单调乏味的工作，但却对提升机器人效果有着至关重要的作用。我们要尽能够地多倾听运营同事的需求，结合AI协助他们让本人的工作愈加精细化、专业化，才会让机器人客服的市场愈加蓬勃发展。

本文由 @PhoebeFeng 原创发布于人人都是产品经理，未经答应，制止转载

题图来自 Unsplash，基于 CC0 协议

真羡慕你们这些有故事的人

楼猪V5啊

向楼主学习