找回密码
 立即注册
搜索

AI小课堂:中先生也能看懂的自然言语处理技术解析


"自然言语通常是指一种自然地随文明演化的言语,比如:汉语、英语、日语。还有一种由人蓄意为某些特定目的而创造的言语(比如与黑猩猩交流运用的耶基斯语、科幻小说需求的精灵语等)被称为人工言语(又称天然言语)。 不过,有时一切人类运用的言语(包括上述自然地随文明演化的言语,以及天然言语)都会被视为"自然"言语,以区别于如编程言语等为计算机而设的"天然"言语。自然言语是人类交流和思想的次要工具。"
自然言语处理(英语:Natural Language Processing,缩写作 NLP)顾名思义就是讨论如何处理及运用自然言语(包含天然言语);自然言语处理包括多方面和步骤,基本有认知、了解、生成等部分。自然言语认知和了解是让电脑把输入的言语变成有意思的符号和关系,然后根据目的再处理。自然言语生成系统则是把计算机数据转化为自然言语。每个部分都有其代表性的技术分支。次要有语音辨认(认知)、自然言语了解(了解)和语音合成(生成)。


语音辨认

语音辨认也被称为自动语音辨认(Automatic Speech Recognition,简写 ASR)其目的是经过电脑自动将人类的语音内容转换为相应的文字。

每种自然言语在声响上都有一定的特点,以汉语为例,我们都学会拼音,不看法的字,我们经过拼音就能知道它的发音了,比如山海经里的异兽颙(yong、二声,长着人脸有四只眼睛的猫头鹰)。而汉语的言语表达有一定的规律,我们经过规律听出言语中的每个字应该是哪一个,比如有人问你:"明天吃了嘛",我们大概率就知道是这个"吃"字而不是"痴"。

语音辨认的过程就自创了汉语的声学特征。首先把一段语音分成若干个小段,这个过程称为分帧。然后把每一帧辨以为一个形状,再把形状组合成音素,音素普通就是我们熟知的声母和韵母,而形状则是比音素愈加细节的语音单位,一个音素通常会包含三个形状。把一系列语音帧转换为若干音素的过程被称为声学模型。从要素到文字的过程需求用言语表达的特点,这样才能挑选出正确的文字,组成意义明白的语句,这个过程被称为言语模型。
语音辨认流程 来自人工智能基础(高中版)截图



自然言语了解 (Natural Language Understanding,简写 NLU)

自然言语了解是研讨如何让电脑读懂人类言语的一门技术,是自然言语处理技术中最困难的一项。目前机器只能了解一些孤立并且意思明白的句子,比如"明天天气怎样样?"、"如今几点了?"、"我要听赵雷的《成都》"等。对于比较复杂且代词很多的句子则很难了解是什么意思!

机器难以了解句子实例:

"我们把香蕉给猴子,由于(它们)饿了"和"我们把香蕉给猴子,由于(它们)熟透了"有异样的结构。但是代词"它们"在第一句中指的是"猴子",在第二句中指的是"香蕉"。假如不了解猴子和香蕉的属性,无法区分。

还有不少的中文相关笑话即是应用相似结构的中文造句而成,此类笑话通常带有《中文博大精深》之类的词汇,叙说多以老外参加考试为背景。比如' 某老外苦学汉语10年,到中国参加汉语考试。试题为"请解释下列句子": 阿呆给长官送红包时,两个人的对话颇有意思。

长官:"你这是什么意思?"

阿呆:"没什么意思,意思意思。"

长官:"你这就不够意思了。"

阿呆:"小意思,小意思。"

长官:"你这人真有意思。"

阿呆:"其实也没有别的意思。"

长官:"那我就不好意思了。"

阿呆:"是我不好意思。"

老外泪流满面,交白卷回国了。

存在这种成绩的缘由有两个方面:

一方面,迄今为止的语法都限于分析一个孤立的句子,上下文关系和说话环境对本句的约束和影响还缺乏系统的研讨,因此分析歧义、词语省略、代词所指、同一句话在不同场合或由不同的人说出来所具有的不同含义等成绩,尚无明白规律可循,需求加强语用学的研讨才能逐渐处理。

另一方面,人了解一个句子不是单凭语法,还运用了大量的有关知识,包括生活知识和专门知识,这些知识无法全部储存在计算机里。因此一个书面了解系统只能建立在有限的词汇、句型和特定的主题范围内;计算机的储存量和运转速度大大提高之后,才有能够适当扩展范围。

语音合成(Speech synthesis)

言语合成是用人工的方式产生人类语音。若是将电脑系统用在语音合成上,则称为语音合成器。文字转语音(Text-To-Speech,TTS)系统是将普通言语的文字转换为语音,其他的系统可以描画言语符号的表示方式,就像音标转换至语音一样。

而合成后的语音则是应用在数据库内的许多已录好的语音(一个字的发音或者一个词的发音)衔接起来。另外,包含了声道模型以及其他的人类声响特征参数的合成器则可以创造出残缺的合成声响输入。一个语音合成器的好坏次要决议于合成的声响像不像人以及能否可以清楚的明白声响的意思。

除了语音辨认、自然言语了解、语音合成这三个技术分支以外还有很多交融性的技术运用分支。

文字(自动)校正(Text-proofing)

校正是书刊出版工作中的一道工序,指根据原稿或定本核对校样,改正校样上的差错。校正工作是整个出版工作中不可短少的重要环节,是一项极为细致、重要的专门技术工作,次要义务是对照原稿逐一核对校样。按照书刊的出版规则和要求,发现排版和编辑加工中的成绩,并及时改正其中的错误。旧事出版机构的校正工作有其特殊性和紧迫性,特别需求留意人名、职名、地点、组织机构称号、工夫、数字、引文、重要理想等方面的校正,以免出现理想差错。

文字自动校正则是经过机器自动校正文本或者文稿,可用于个人书写文字的检查,也可满足出版业的大量校稿需求。文本自动校正,分为几种技术,一是文字自动校正,即程式将文本中出现的错字,借着文法检查器的检查,逐一标出,由运用者用眼看逐一校正。二是语音自动校正,即让语音程式将文本转成语音输入,让校稿人员用听的,以发现错误。这种校正方式,属于比较弱的校正方式,更多的依赖于人的听觉与判别。因此,长期以来,文本自动校正以文字自动校正为主。

头条上发布文章时会有发文助手和后台的审核机制就是功能更弱小的自动校正。

机器翻译(Machine translation)

机器翻译则是研讨由计算机程序将文字或演说从一种自然言语翻译成另一种自然言语。简单来说,机器翻译是经过机器将一种自然言语转换成另一个自然言语。

从人为的翻译来看机器翻译,翻译的过程可被细分如下:
    解译来源文字的文意重新编译此解析后所得的文意至目的言语。

在这看似简单的步骤之后其实是复杂的认知操作。要能解译来源文字的残缺意义,一个译者必须可以分析与诠释整段文章的一切特征,必须可以深度的了解其文法、语义、语法、成语等等,相当于了解来源言语的文明背景。译者同时也必须兼备目的言语相反深度的知识。

显然这又会触及到言语了解的成绩,所以现阶段机器翻译的效果并没有达到可以取代人工翻译的程度,还无法成为正式的翻译。

但是对于大众运用机器翻译的目的只是为了获知原文句子或段落的要旨,而不是准确的翻译。所以,已有越来越多的公司尝试以机器翻译的技术来提供多语系协助的服务(百度翻译、谷歌翻译、翻译机、翻译棒等)。

关注简读AI,为您分享更多人工智能、机器人等前沿科技知识,欢迎大家交流指正。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

大神点评3

孔唯允 2020-3-16 21:32:52 显示全部楼层
支持,楼下的跟上哈~
回复

使用道具 举报

哟西hgnd 2020-3-17 20:19:08 显示全部楼层
lz也多多分享一下感受,想换工作了
回复

使用道具 举报

沙13076142896 2020-3-18 19:46:18 显示全部楼层
前排支持下
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies