RNN 的 Dropout 参数建议

原文链接

以下是从原文翻译的中文版本。
Srivastava等。 （2014年）将dropout应用于前馈神经网络和RBM的学习，并指出，在各种任务中，隐藏单元的丢失概率应为0.5，输入单元的丢失概率为0.2。

参考：适用于RNN的Dropout综述

当我将0.5应用于隐藏层，将0.2应用于输入层时，效果很好。 但是在解码器中却不是这样。 在解码器中，我建议不要使用dropout。

来源：CSDN

作者：dongfanker

链接：https://blog.csdn.net/qq_39492317/article/details/103748964