Sequence to Sequence Learning with Neural Networks

Sequence to Sequence Learning with Neural Networks
Ilya Sutskever et al. Google. 2014

Sequence to sequence

DNN的一个显著问题在于只能应用到输入和输出都能表示为固定维度的向量的问题中。这是一个显著的缺陷，因为很多重要的问题中，输入和输出都需要被描述为预先不知道长度的序列。
本文提出了直接用一个LSTM来解决Sequence to Sequence问题。用一个LSTM来读输入序列，一个时间步读序列中的一个词，来得到一个固定维度的向量表示，然后利用另一个LSTM来从向量里抽取输出序列。
我们实际的模型与普通LSTM有三点区别：第一，我们使用了2个LSTM，以同时训练不同的语言pair。第二，我们发现多层LSTM比较好用，因此我们用4层LSTM替代了单层LSTM。第三，我们发现将句子中的单词反过来训练的效果更好，因此我们将句子中的词语顺序反了过来。

来源：CSDN

作者：我爱写报告

链接：https://blog.csdn.net/m0_37924639/article/details/104094841