本文主要介绍CMU在2016年发表在ACL的一篇论文：Hierarchical Attention Networks for Document Classification及其代码复现。
该论文是用于文档级情感分类（document-level sentiment classification）的，其模型架构如下：
整个网络结构包括四个部分：
1）词序列编码器
2）基于词级的注意力层
3）句子编码器
4）基于句子级的注意力层
整个网络结构由双向GRU网络和注意力机制组合而成，具体的网络结构公式如下：
词序列编码器
给定一个句子中的单词
，其中 i 表示第 i 个句子，t 表示第 t 个词。通过一个词嵌入矩阵 
将单词转换成向量表示，具体如下所示：
接下来看看利用双向GRU实现的整个编码流程：
最终的
词级的注意力层
注意力层的具体流程如下：
上面式子中，
是 
的隐层表示，
是经 softmax 函数处理后的归一化权重系数，
是一个随机初始化的向量，之后会作为模型的参数一起被训练，
就是我们得到的第 i 个句子的向量表示。
句子编码器
也是基于双向GRU实现编码的，其流程如下:
公式和词编码类似，最后的
也是通过拼接得到的
句子级注意力层
注意力层的流程如下，和词级的一致
最后得到的向量
就是文档的向量表示，这是文档的高层表示。接下来就可以用可以用这个向量表示作为文档的特征
分类
Reference
来源：CSDN
作者：一枚小码农
链接：https://blog.csdn.net/sinat_25394043/article/details/103990376