智客公社

标题: 中学生也能看懂人工智能知识:解读自然语言处理技术 [打印本页]

作者: 镜花 时间: 2024-4-30 07:30
标题: 中学生也能看懂人工智能知识:解读自然语言处理技术

"自然语言通常是指一种自然地随文化演化的语言，比如：汉语、英语、日语。还有一种由人蓄意为某些特定目的而创造的语言（比如与黑猩猩交流使用的耶基斯语、科幻小说需要的精灵语等）被称为人工语言（又称人造语言）。不过,有时所有人类使用的语言(包括上述自然地随文化演化的语言,以及人造语言)都会被视为"自然"语言,以区别于如编程语言等为计算机而设的"人造"语言。自然语言是人类交流和思维的主要工具。"

自然语言处理（英语：Natural Language Processing，缩写作 NLP）顾名思义就是探讨如何处理及运用自然语言（包含人造语言）；自然语言处理包括多方面和步骤，基本有认知、理解、生成等部分。自然语言认知和理解是让电脑把输入的语言变成有意思的符号和关系，然后根据目的再处理。自然语言生成系统则是把计算机数据转化为自然语言。每个部分都有其代表性的技术分支。主要有语音识别（认知）、自然语言理解（理解）和语音合成（生成）。

语音识别

语音识别也被称为自动语音识别（Automatic Speech Recognition,简写 ASR）其目标是通过电脑自动将人类的语音内容转换为相应的文字。

每种自然语言在声音上都有一定的特点，以汉语为例，我们都学会拼音，不认识的字，我们通过拼音就能知道它的发音了，比如山海经里的异兽颙（yong、二声，长着人脸有四只眼睛的猫头鹰）。而汉语的语言表达有一定的规律，我们通过规律听出语言中的每个字应该是哪一个,比如有人问你："今天吃了嘛"，我们大概率就知道是这个"吃"字而不是"痴"。

语音识别的过程就借鉴了汉语的声学特征。首先把一段语音分成若干个小段，这个过程称为分帧。然后把每一帧识别为一个状态，再把状态组合成音素，音素一般就是我们熟知的声母和韵母，而状态则是比音素更加细节的语音单位，一个音素通常会包含三个状态。把一系列语音帧转换为若干音素的过程被称为声学模型。从因素到文字的过程需要用语言表达的特点，这样才能挑选出正确的文字，组成意义明确的语句，这个过程被称为语言模型。

[attach]828186[/attach]

语音识别流程来自人工智能基础（高中版）截图

自然语言理解 (Natural Language Understanding，简写 NLU)

自然语言理解是研究如何让电脑读懂人类语言的一门技术，是自然语言处理技术中最困难的一项。目前机器只能理解一些孤立并且意思明确的句子，比如"今天天气怎么样？"、"现在几点了？"、"我要听赵雷的《成都》"等。对于比较复杂且代词很多的句子则很难理解是什么意思！

机器难以理解句子实例：

"我们把香蕉给猴子，因为(它们)饿了"和"我们把香蕉给猴子，因为(它们)熟透了"有同样的结构。但是代词"它们"在第一句中指的是"猴子"，在第二句中指的是"香蕉"。如果不了解猴子和香蕉的属性，无法区分。

还有不少的中文相关笑话即是利用类似结构的中文造句而成，此类笑话通常带有《中文博大精深》之类的词汇,叙述多以老外参加考试为背景。比如' 某老外苦学汉语10年，到中国参加汉语考试。试题为"请解释下列句子"：阿呆给长官送红包时，两个人的对话颇有意思。

长官："你这是什么意思？"

阿呆："没什么意思，意思意思。"

长官："你这就不够意思了。"

阿呆："小意思，小意思。"

长官："你这人真有意思。"

阿呆："其实也没有别的意思。"

长官："那我就不好意思了。"

阿呆："是我不好意思。"

老外泪流满面，交白卷回国了。

[attach]828187[/attach]

存在这种问题的原因有两个方面：

一方面，迄今为止的语法都限于分析一个孤立的句子，上下文关系和谈话环境对本句的约束和影响还缺乏系统的研究，因此分析歧义、词语省略、代词所指、同一句话在不同场合或由不同的人说出来所具有的不同含义等问题，尚无明确规律可循，需要加强语用学的研究才能逐步解决。

另一方面，人理解一个句子不是单凭语法，还运用了大量的有关知识，包括生活知识和专门知识，这些知识无法全部贮存在计算机里。因此一个书面理解系统只能建立在有限的词汇、句型和特定的主题范围内；计算机的贮存量和运转速度大大提高之后，才有可能适当扩大范围。

语音合成（Speech synthesis）

语言合成是用人工的方式产生人类语音。若是将电脑系统用在语音合成上，则称为语音合成器。文字转语音（Text-To-Speech，TTS）系统是将一般语言的文字转换为语音，其他的系统可以描绘语言符号的表示方式，就像音标转换至语音一样。

而合成后的语音则是利用在数据库内的许多已录好的语音（一个字的发音或者一个词的发音）连接起来。另外，包含了声道模型以及其他的人类声音特征参数的合成器则可以创造出完整的合成声音输出。一个语音合成器的好坏主要决定于合成的声音像不像人以及是否可以清楚的明白声音的意思。

[attach]828188[/attach]

除了语音识别、自然语言理解、语音合成这三个技术分支以外还有很多融合性的技术应用分支。

文字（自动）校对（Text-proofing）

校对是书刊出版工作中的一道工序，指依据原稿或定本核对校样，改正校样上的差错。校对工作是整个出版工作中不可缺少的重要环节，是一项极为细致、重要的专门技术工作，主要任务是对照原稿逐一核对校样。按照书刊的出版规则和要求，发现排版和编辑加工中的问题，并及时改正其中的错误。新闻出版机构的校对工作有其特殊性和紧迫性，特别需要注意人名、职名、地点、组织机构名称、时间、数字、引文、重要事实等方面的校对，以免出现事实差错。

文字自动校对则是通过机器自动校对文本或者文稿，可用于个人书写文字的检查，也可满足出版业的大量校稿需求。文本自动校对，分为几种技术，一是文字自动校对，即程式将文本中出现的错字，借着文法检查器的检查，一一标出，由使用者用眼看逐一校对。二是语音自动校对，即让语音程式将文本转成语音输出，让校稿人员用听的，以发现错误。这种校对方式，属于比较弱的校对方式，更多的依赖于人的听觉与判断。因此，长期以来，文本自动校对以文字自动校对为主。

头条上发布文章时会有发文助手和后台的审核机制就是功能更强大的自动校对。

[attach]828189[/attach]

机器翻译（Machine translation）

机器翻译则是研究由计算机程序将文字或演说从一种自然语言翻译成另一种自然语言。简单来说，机器翻译是通过机器将一种自然语言转换成另一个自然语言。

从人为的翻译来看机器翻译，翻译的过程可被细分如下：

在这看似简单的步骤之后其实是复杂的认知操作。要能解译来源文字的完整意义，一个译者必须能够分析与诠释整段文章的所有特征，必须能够深度的了解其文法、语义、语法、成语等等，相当于了解来源语言的文化背景。译者同时也必须兼备目标语言相同深度的知识。

显然这又会涉及到语言理解的问题，所以现阶段机器翻译的效果并没有达到可以取代人工翻译的程度，还无法成为正式的翻译。

但是对于大众使用机器翻译的目的只是为了获知原文句子或段落的要旨，而不是精确的翻译。所以，已有越来越多的公司尝试以机器翻译的技术来提供多语系帮助的服务（百度翻译、谷歌翻译、翻译机、翻译棒等）。

[attach]828190[/attach]

关注简读AI，为您分享更多人工智能、机器人等前沿科技知识，欢迎大家交流指正。

作者: 很堕落 时间: 2024-4-30 21:51
大神，请收下我的膝盖

作者: 萌Reverie 时间: 2024-5-2 22:46
无论是不是沙发都得回复下

欢迎光临智客公社 (http://bbs.cnaiplus.com/)