激活函数介绍

1. Step function

Step function在实际项目中不经常使用。

2. Sigmoid

典型的应用是在最后一层进行二分类使用。

3 Tanh Function

通常用于隐层中.

4 ReLU Function

如果在实际应用中不知道该如何选择激活函数，可以使用Relu.

5 Leaky ReLU Function

6 Softmax

 

来源：oschina

链接：https://my.oschina.net/u/4228078/blog/4375274