SOTA激活函数学习

除了之前较为流行的RELU激活函数，最近又新出了几个效果较好的激活函数

一、BERT激活函数 - GELU（gaussian error linear units）高斯误差线性单元

二、Mish激活函数

公式如下：

函数图如下：

橙色曲线为：ln(1+e^(x))

蓝色曲线为：Mish函数

import math import numpy as np from matplotlib import pyplot as plt          def mish(x):     return x * math.tanh(math.log(1+math.exp(x)))  def ln_e(x):     return math.log(1+math.exp(x))      x = np.linspace(-10,10,1000) y=[] z=[] for i in x:     y.append(mish(i))     z.append(ln_e(i)) plt.plot(x,y) plt.plot(x,z) plt.grid() plt.show()

来源：博客园

作者：光彩照人

链接：https://www.cnblogs.com/gczr/p/11788271.html