- 语言模型告诉你特定句子出现的概率是多少。
- 为了建立一个好的RNN模型，需要包括很大语料库的训练集。
- 将每个单词都转成one-hot向量，包括结尾标记和标点符号、未见单词，作为输入。
- 第一个时间步的输入是零向量，做一个sorftmax，输出字典里所有单词的概率。以后每一步的输入为一个单词one-hot，输出下一个单词的概率。对所有输出交叉熵求和，再反向传播。
- 将输出相乘得到整个句子的概率。
来源：https://www.cnblogs.com/biwangwang/p/11431843.html