keras调参经验

调参技巧

• 层叠LSTM的层时 尽量保持两个隐藏层个数一致 收敛的快的多
• 两层LSTM比一层好很多
• 激活函数很重要 relu通常效果比较好

  • 激活函数使用笔记

  • 激活函数介绍

• 学习率太大(0.02),记得要是0.001数量级的学习率，否则直接不收敛，因此学习率不要太大，越小越好

• 正则化参数
  • L1正则化效果很差
  • L2正则化 一般是0.01左右
  • 这个参数影响不太 而且容易拖累模型训练速度

优化器

from tensorflow.keras import optimizers  
常用optimizers.Adam ,Nadam  学习率的设置在0.001数量级

来源：https://www.cnblogs.com/rise0111/p/11643547.html