什么是自然语言处理(Natural Language Processing, NLP)?自然语言处理就是,利用计算机为工具对人类特有的书面形式和口头形式的自然语言的信息,进行各种类型处理和加工的技术。----冯志伟自然语言处理可以定义为研究在人与人交际中以及在人与计算机交际中的语言问题的一门学科。自然语言处理要研制表示语言能力和语言应用的模型,建立计算框架来实现这样的语言模型,提出相应的方法来不断完善这样的语言模型,根据这样的语言模型设计各种实用系统,并探讨这些实用系统的评测技术。----Bill Manaris
[attach]801322[/attach]
自然语言处理的处理主要包括两个部分:自然语言理解、自然语言生成, 在这两部分之下有各种的基础算法来支撑这两部分。自然语言理解(Natural Language Understanding,NLU): 使计算机理解自然语言(人类语言文字)等,重在理解。
具体来说,就是理解语言、文本等,提取出有用的信息,用于下游的任务。如情感识别、意图识别、信息检索(包括个性化搜索和语义搜索,文本匹配等)、信息抽取(命名实体提取、关系抽取、事件抽取等)。自然语言生成(Natural Language Generation, NLG): 提供结构化的数据、文本、图表、音频、视频等,生成人类可以理解的自然语言形式的文本。NLG又可以分为三大类,文本到文本(text-to-text),如翻译、摘要等;文本到其他(text-to-other),如文本生成图片;其他到文本(other-to-text),如视频生成文本。
语义歧义At last, a computer understands you like your mother.含义1:计算机会像你的母亲那样很好的理解你。含义2:计算机理解你喜欢你的母亲。含义3:计算机会像理解你母亲那样去理解你。语用歧义“你真坏”当对干了坏事的成年人说时,是一种严厉的苛责。当妈妈对淘气的儿子说时,实际表达的是对儿子的一种疼爱。当恋爱中的女孩对男友说时,则是女孩在男友面前撒娇的一种表现。