言语建模是在给定后面的单词的状况下预测文本中的下一个单词的义务。 它能够是最简单的言语处理义务,具有实践运用,如智能键盘和电子邮件呼应建议(Kannan et al.,2016)。言语建模有着丰富的历史。基于n-gram的经典方法采用平滑处理看不见的n-gram(Kneser&Ney,1995)。Bengio等人于2001年提出了第一种神经言语模型,一种前馈神经网络,如下图1所示。
多义务学习如今用于各种NLP义务,并且应用现有或“人工”义务已成为NLP指令集中的有用工具。有关不同附加义务的概述,请查看此文章。虽然通常预先定义参数的共享,但是在优化过程时期也可以学习不同的共享形式(Ruder等,2017)。随着模型越来越多地在多项义务中被评价来评价其泛化才能,多义务学习越来越重要,最近提出了多义务学习的公用基准(Wang et al,2018; McCann et al,2018)。
从那时起,许多工作曾经末尾探求词嵌入的不同方面,可以经过这篇文章了解一些趋向和将来方向。虽然有许多发展,但word2ve照旧是如今被广泛运用的一种盛行的选择。Word2vec的范围甚至超出了词级别:带有负抽样的skip-gram,一个基于本地环境学习嵌入的方便目的,已被运用于学习句子的表示(Mikolov&Le,2014; Kiros et al.,2015)-甚至超越NLP,运用到网络(Grover&Leskovec,2016)和生物序列(Asgari&Mofrad,2015)等。