论文浅尝 | Leveraging Knowledge Bases in LSTMs
Yang, B., Mitchell, T., 2017. Leveraging Knowledge Bases in LSTMs for Improving Machine Reading. Association for Computational Linguistics, pp. 1436–1446. 链接: http://www.aclweb.org/anthology/P/P17/P17-1132.pdf 这篇论文是今年发表在 ACL 的一篇文章,来自 CMU 的工作,提出通过更好地利用外部知识库的方法解决机器阅读问题。由于传统方法中用离散特征表示知识库的知识存在了特征生成效果差而且特征工程偏特定任务的缺点,本文选择用连续向量表示方法来表示知识库。传统神经网络端到端模型使得大部分背景知识被忽略,论文基于 BiLSTM 网络提出扩展网络 KBLSTM ,结合 attention 机制在做任务时有效地融合知识库中的知识。 论文以回答要不要加入 background knowledge ,以及加入哪一些信息两部分内容为导向,并借助以下两个例子说明两部分内容的重要性。 “Maigretleft viewers in tears.” 利用背景知识和上下文我们可以知道 Maigret 指一个电视节目, “Santiago is charged withmurder.”