1） 激活函数（Activation Function）
- 背景
深度学习的基本原理是基于人工神经网络，信号从一个神经元进入，经过非线性的activation function，传入到下一层神经元；再经过该层神经元的activate，继续往下传递，如此循环往复，直到输出层。正是由于这些非线性函数的反复叠加，才使得神经网络有足够的capacity来抓取复杂的pattern，在各个领域取得state-of-the-art的结果。显而易见，activation function在深度学习中举足轻重，也是很活跃的研究领域之一。目前来讲，选择怎样的activation function不在于它能否模拟真正的神经元，而在于能否便于优化整个深度神经网络。下面我们简单聊一下各类函数的优缺点以及其适用场景。
- Sigmoid函数
- Sigmoid函数是深度学习领域开始时使用频率最高的activation function
- Pros
它是便于求导的平滑函数，其导数为
l Cons
l 容易出现gradient vanishing
l 函数输出并不是zero-centered
l 幂运算相对来讲比较耗时
l 适用场景：常用于输出层，多应用在二分类问题、逻辑回归任务及其他神经网络领域