|
让全世界拥有相通的言语不断是萦绕在人们心中的梦想，人工智能技术完成了用机器翻译不同的言语，从最后只能翻译单词到如今可以整句或通篇翻译。尤其是如今有了一些可携带的设备可以实理想时翻译，有了它你可以行走到世界上任何一个国家，即便看不懂文字，听不懂言语，也可以借助机器翻译与别人停止交流和沟通，不必再为互相不能了解而困扰。
什么是自然言语处理？
简单地说，自然言语处理就是用人工智能来处理、了解以及运用人类言语。它表现了真正意义上的“人工智能”，百度机器学习专家余凯说过“听与看，说白了就是阿猫和阿狗都会的，而只要言语才是人类独有的”，也就是说只要当计算机具有了处理自然言语的才能时，才算完成了真正的智能。
自然言语处理技术在生活中运用广泛，例如机器翻译、手写体和印刷体字符辨认、语音辨认后完成文字转换、信息检索、抽取与过滤、文本分类与聚类、舆情分析和观点发掘等。它们分别运用了自然言语处理应中的语法分析、语义分析、篇章了解等技术，是人工智能界最前沿的研讨范畴。时至昔日AI在这些技术范畴的发展曾经把辨认准确率从70%提高到了90%以上，但只要当准确率提高到99%及以上时，才能被认定为自然言语处理的技术达到人类程度，这照旧是宏大的困难和应战。
自然言语处理存在哪些次要困难？
自然言语处理的困难关键在于消弭歧义成绩，如词法分析、句法分析、语义分析等过程中存在的歧义成绩，简称为消歧。而正确的消歧需求大量的知识，包括言语学知识（如词法、句法、语义、上下文等）和世界知识（与言语有关）。由于歧义的存在给自然言语处理带来两个次要困难。
首先，当言语中充满了大量的歧义，分词难度很大，同一种言语方式能够具有多种含义。特别是在处理中文单词的过程中，由于中文词与词之间短少自然的分隔符，因此文字处理比英文等东方言语多一步确定词边界的工序，即“中文自动分词”义务。粗浅地说就是要由计算机在词与词之间自动加上分隔符，从而将中文文本切分为独立的单词。例如 “昨天有沙尘暴”这句话带有分隔符的切分文本是“昨天|有|沙尘暴”。自动分词处于中文自然言语处理的底层，意味着它是了解言语的第一道工序，但正确的单词切分又需求取决于对文本语义的正确了解。这构成了一个“鸡生蛋、蛋生鸡”的成绩，成为自然言语处理的第一条拦路虎。
除了在单个词级别分词和了解存在难度外，在短语和句子级别也容易存在歧义。例如 “出口冰箱”可以了解为动宾关系（从国内出口了一批冰箱），也可以了解为偏正关系（从国内出口的冰箱）；又如在句子级别，“做化疗的是她的妈妈”可以了解为她妈妈生病了需求做化疗，也可以了解为她妈妈是医生，帮别人做化疗。
其次，消弭歧义所需求的知识在获取、表达以及运用上存在困难。由于言语处理的复杂性，合适的言语处理方法和模型难以设计。
在试图了解一句话的时分，即便不存在歧义成绩，我们也往往需求思索上下文的影响。所谓的“上下文”指的是当前所说这句话所处的言语环境，包括说话人所处的环境，或者是这句话的前几句话或者后几句话等。以“小A打了小B，因此我惩罚了他”为例。在其中的第二句话中的“他”是指代“小A”还是“小B”呢？要正确了解这句话，我们就要了解上句话“小A打了小B”意味着“小A”做得不对，因此第二句中的“他”该当指代的是“小A”。由于上下文对于当前句子的暗示方式是多种多样的，因此如何思索上下文影响成绩是自然言语处理中的次要困难之一。
此外，正确了解人类言语还要有足够的背景知识，特别是对于成语和歇后语的了解。比如在英语中“The spirit is willing but the flesh is weak.”是一句成语，意思是“心不足而力不足”。但是曾经某个机器翻译系统将这句英文翻译到俄语，然后再翻译回英语的时分，却变成了“The Voltka is strong but the meat is rotten.”，意思是“伏特加酒是浓的，但肉却腐烂了”。导致翻译偏向的根本成绩，在于机器翻译系统对于英语成语并无了解，仅仅是从字面上停止翻译，结果失之毫厘，谬之千里。
自然言语处理就是用人工智能来处理、了解以及运用人类言语。它在生活中具有广泛的运用，明天在一些范畴（比如机器翻译）其处理准确率曾经超过90%，但要达到人类程度，照旧存在较大难度。
消弭歧义是目前自然言语处理的最大困难，它的根源是人类言语的复杂性和言语描画的外部世界的复杂性。人类言语承担着人类表达情感、交流思想、传播知识等重要功能，因此需求具有弱小的灵敏性和表达才能，而了解言语所需求的知识又是无止境的。那么目后人们是如何尝试停止自然言语处理的呢？
来源"爱未客"
| 
