文字含义 Textual entailment:文字(t)和假设(h)之间用$串联在一同。这自然使其合适在LM模型上停止评价。文本相似性 Text similarity:由于顺序在这里并不重要,因此将文本按两个顺序串联在一同,然后独立处理并逐一元素添加。问答和常识推理 Question-answering and commonsense reasoning:文本,查询和答案选项之间用一些区分符号衔接在一同,每个这样的样本都会得四处理。然后经过softmax对它们停止归一化,以在能够的答案上产生输入分布。
处理方案非常简单:不只仅将深层Bi-LSTM言语模型的最后一层作为单词表示,而是获取每一层每个外部功能形状的向量,并以加权方式将它们组合以获得最后的嵌入。(obtain the vectors of each of the internal functional states of every layer, and combine them in a weighted fashion )