ELMo:Embeddings from Language Models 引入了一种新的单词表示方式，该 表示方式的建模目标是：对单词的复杂特征建模（如：语法特征、语义特征），以及能适应不同的上下文（如：多义词）。
ELMo 词向量是由双向神经网络语言模型的内部多层向量的线性加权组成。
LSTM 高层状态向量捕获了上下文相关的语义信息，可以用于语义消岐等任务。 结果表明：越高层的状态向量，越能够捕获语义信息。
LSTM 底层状态向量捕获了语法信息，可以用于词性标注等任务。 结果表明：越低层的状态向量，越能够捕获语法信息。