[NIPS2017]Attention is all you need

原理源码讲解：https://www.jiqizhixin.com/articles/2018-11-06-10
https://nlp.seas.harvard.edu/2018/04/03/attention.html

这篇文章是火遍全宇宙，关于网上的解读也非常多，将自己看完后的一点小想法也总结一下。
看完一遍之后，有很多疑问，我是针对每个疑问都了解清楚后才算明白了这篇文章，可能写的不到位，只是总结下，下次忘记了便于翻查。
一：Q，K， V 到底是什么？
在传统的seq2seq框架下：
query: seq2seq模型中decode时隐层向量S$_{t-1}$， 记作q$_{t-1}$, Q就是多个query组成的矩阵Q
value: seq2seq模型中encode时的隐层向量h$_i$，记作v$_i$， V是输入序列中n个词的embedding矩阵
key: 对h$_i$做了一次先行映射得到的向量， 记作k$_i$，K同上
在本文的transformer下，结合文字和图：
(1) encoder self-attention
Q 就是input sequence($w_1$, $w_2$, …, $w_i$, …, $w_n$)将其映射为word embedding后 ($x_1$, $x_2$, …, $x_i$, …, $x_n$），Q= ($x_1$, $x_2$, …, $x_i$, …, $x_n$)，并且 K=V=Q
(2) decoder self-attention
当t=0时，decoder self-attention的Q是<bos>的embedding, 当t=j时，Q=(E$_{<bos>}$, E$_{y1}$, …, E$_{y_{j-1}}$), 其中y$_{j-1}$是t=j-1时刻decoder的输出. K=V=Q
(3) encoder-decoder self-attention
K=V是encoder的输出，将encoder的输出传给decoder, 这一操作使得decoder可以获取输入$X$序列的信息, 类似于传统seq2seq中的decoder端的attention. Q是decoder self-attention的输出.

二： 怎么理解self-attention, 怎么做self-attention，为什么用self-attention?
(1) 在传统的 seq2seq 中的 encoder 阶段，针对输入$X$ = ($x_1$, $x_2$, …,$x_i$, …, $x_n$)，经过RNN或LSTM变换后得到序列的隐层状态 $H$ = ($h_1$, $h_2$, …, $h_i$, …, $h_n$)，但是此篇文章抛弃了 RNN，encoder 过程就没了 hidden states，那拿什么做 self-attention 呢？input 的 sequence 共有 n 个 word，将每一个 word 映射成 embedding, 就得到 n 个 embedding，可以用 embedding 代替 hidden state 做 self-attention 。所以 Q 就是一个n行$d_k$列的矩阵，这个矩阵就是n个词的embedding，并且Q=K=V。那么为什么管Q 就是query呢？就是每次用一个词的embedding，去计算其与剩下的（n-1）个词的 embedding 的 match 程度（也就是 attention 的大小，这就是self-attention的意思了。

针对n个词，一共要做n轮这样的操作：

(2)首先将query 和每个key进行相似度计算得到权重，常用的相似度函数有点积拼接，感知机等
然后使用一个softmax函数对这些权重归一化，最后权重与相应的键值value进行加权求和得到attention后的context
(3) 句子中的每个词都要和该句子中的所有词进行attention计算，目的是学习句子内部的词以来关系，捕获句子的内部结构。
三：怎么理解 decoder self-attention中的Masked Multi-Head Attention

四：如何理解公式(1), 怎么理解缩放因子$\frac{1}{\sqrt{d_k}}$？

公式(1)中的softmax($\frac{QK^T}{\sqrt{d_k}}$) 就是类似$a_{ij}$和$c_i$的计算，Q和K就相当于$e_{ij}$计算中的$S_{i-1}$和$h_j$：

上图中的Q换成q, K换成k

参考文献：
源码解读：https://blog.csdn.net/mijiaoxiaosan/article/details/74909076
https://blog.csdn.net/yiyele/article/details/81913031
https://blog.csdn.net/qq_41058526/article/details/80783925?utm_source=blogxgwz0
https://blog.csdn.net/hpulfc/article/details/83310089
https://zhuanlan.zhihu.com/p/38485843
https://blog.csdn.net/lqfarmer/article/details/73521811
http://www.sohu.com/a/215705742_500659
https://www.jianshu.com/p/3f2d4bc126e6

来源：CSDN

作者：小妖精Fsky

链接：https://blog.csdn.net/u014221266/article/details/83415489