明天打算讲述最近NLP中很火的一个概念，Attention（留意力机制），原意是指机器在做阅读了解、文本分类、翻译等义务时，应该要抓取重点，如阅读了解应该是抓取和成绩相关的句子或者词语，文本分类如情感分析应该是次要将留意力集中在和情感相关的词上，翻译中应该次要翻译出主谓宾等次要句子成分。希望机器不是囫囵吞枣的阅读，而是基于义务针对性的的做语义的了解。有很多论文都表示各种Attention在不同的NLP义务中都有很好的效果，这篇文章次要讲述其中比较有名的两篇，《Attentive Pooling Networks》和《Attention Is All You Need》，第一篇次要是承上启下做同义词的婚配，是对上篇文章（自然言语处理入门学习十）中的CDSSM这个模型的改进，第二篇则是2017年的爆款论文，次要运用于机器翻译。
《Attentive Pooling Networks》是一个做问答对婚配的模型，次要是在向量表征和余弦函数的间隔之间添加了Attention层，这样成绩向量表征上就能得到答案的信息，答案向量表征上就能得到成绩的信息。如单独对“How old are you?”和“How are you?”成绩的向量表征能够非常相近，但是理想能够是完全不同的两个成绩。但是假如对“How old are you?“I am 18.”和“How are you?”“I’m fine”，将成绩和答案的信息都思索出去，这样就可以很分明的区分“How old are you?”和“How are you?”这两句话实践是两个成绩。