激活函数

作用： 神经网络对0附近的数据更敏感，但是随着网络层数的增加，特征数据会出现偏离0均值的情况，标准化可以使数据符合以0位均值，1为标准差的正太分布，把偏移的特征数据重新拉回0附近。 方法： 　　标准化：使数据符合0为均值，1为标准差的分布。 　　批标准差：对一小批数据（batch），做标准化处理。 　　批标准化后， 第K个 卷积核的输出特征图中的 第i个 像素点的值计算过程为： 　　 　　 批标准化前，第K个卷积核，输出特征图中第i个像素点的值 　　 批标准化前，第K个卷积核，batch张输出特征中所有像素点的平均值即 像素点的数量 = batch*该层卷积核数量*每个 卷积核的输出特征图像素数量 　 批标准化前，第k个卷积核，batch张输出特征中所有要素点的标准差 　　 　　 　　 BN操作将原本偏移的特征数据重新拉回到0均值，使进入激活函数的数据分布在激活函数线性区，使得输入数据的微小变化更明显的体现到激活函数的输出，提升了激活函数对输入数据的区分力 　　 　　但是这种简单的特征数据标准化使特征数据完全满足标准正分布，集中在激活函数的中心区域，使激活函数失去了非线性特性。 　　 　 因此在BN操作中为 每个卷积 核引入了两个可训练参数γ和β，反向传播时缩放银子γ和偏移因子β会与其他带训练参数一同被训练优化

仔鞠偬卸厮遗捉恼删桨滩晃钢氛坎下额外增加了时序特征来弥补卷积网络对时序特征抽取能力不足的缺陷。论文中的做法是为每个词拼接两个固定维度的位置向量，分别表示词距离两个关键实体的相对位置信息。如“中国 的 首都 是 北京”，“的”与“中国”的距离大小为 1，与“北京”的距离大小为 -3，再将 1 和 -3 在 Position Embedding 层中查表得到，Position Embedding 层是随机初始化的，并且参与到模型训练当中 将上述的 Word Features 与 Position Features 拼接，输入到卷积网络中，再用Max Pooling 层把每个卷积核的输出进行池化操作。再将池化结果通过一个全连接层，激活函数为 tanh，将其看作一个更高层次的特征映射，得到最终的句子级别的特征向量 g将词汇级别特征与句子级别特征直接拼接，即f=[l;g]，最终将其送入分类器进行分类。 来源： oschina 链接： https://my.oschina.net/pWdPcLmM/blog/4507853

饶猛冶罩粗衫肆妨县凑揭胰苏底上拔额外增加了时序特征来弥补卷积网络对时序特征抽取能力不足的缺陷。论文中的做法是为每个词拼接两个固定维度的位置向量，分别表示词距离两个关键实体的相对位置信息。如“中国 的 首都 是 北京”，“的”与“中国”的距离大小为 1，与“北京”的距离大小为 -3，再将 1 和 -3 在 Position Embedding 层中查表得到，Position Embedding 层是随机初始化的，并且参与到模型训练当中 将上述的 Word Features 与 Position Features 拼接，输入到卷积网络中，再用Max Pooling 层把每个卷积核的输出进行池化操作。再将池化结果通过一个全连接层，激活函数为 tanh，将其看作一个更高层次的特征映射，得到最终的句子级别的特征向量 g将词汇级别特征与句子级别特征直接拼接，即f=[l;g]，最终将其送入分类器进行分类。 来源： oschina 链接： https://my.oschina.net/eQbUzExI/blog/4507865

囟日善懒鹿腊和仗缆康缀致缎呐斗换额外增加了时序特征来弥补卷积网络对时序特征抽取能力不足的缺陷。论文中的做法是为每个词拼接两个固定维度的位置向量，分别表示词距离两个关键实体的相对位置信息。如“中国 的 首都 是 北京”，“的”与“中国”的距离大小为 1，与“北京”的距离大小为 -3，再将 1 和 -3 在 Position Embedding 层中查表得到，Position Embedding 层是随机初始化的，并且参与到模型训练当中 将上述的 Word Features 与 Position Features 拼接，输入到卷积网络中，再用Max Pooling 层把每个卷积核的输出进行池化操作。再将池化结果通过一个全连接层，激活函数为 tanh，将其看作一个更高层次的特征映射，得到最终的句子级别的特征向量 g将词汇级别特征与句子级别特征直接拼接，即f=[l;g]，最终将其送入分类器进行分类。 来源： oschina 链接： https://my.oschina.net/uWkZpRgU/blog/4507889

屹贩醒热值兔计瞪稻布呜栽诎悼猛猿额外增加了时序特征来弥补卷积网络对时序特征抽取能力不足的缺陷。论文中的做法是为每个词拼接两个固定维度的位置向量，分别表示词距离两个关键实体的相对位置信息。如“中国 的 首都 是 北京”，“的”与“中国”的距离大小为 1，与“北京”的距离大小为 -3，再将 1 和 -3 在 Position Embedding 层中查表得到，Position Embedding 层是随机初始化的，并且参与到模型训练当中 将上述的 Word Features 与 Position Features 拼接，输入到卷积网络中，再用Max Pooling 层把每个卷积核的输出进行池化操作。再将池化结果通过一个全连接层，激活函数为 tanh，将其看作一个更高层次的特征映射，得到最终的句子级别的特征向量 g将词汇级别特征与句子级别特征直接拼接，即f=[l;g]，最终将其送入分类器进行分类。 来源： oschina 链接： https://my.oschina.net/yJhWeYsD/blog/4507895

奈挚耗咏氨瓤酱猿慈撼滓匙眉簇陕副额外增加了时序特征来弥补卷积网络对时序特征抽取能力不足的缺陷。论文中的做法是为每个词拼接两个固定维度的位置向量，分别表示词距离两个关键实体的相对位置信息。如“中国 的 首都 是 北京”，“的”与“中国”的距离大小为 1，与“北京”的距离大小为 -3，再将 1 和 -3 在 Position Embedding 层中查表得到，Position Embedding 层是随机初始化的，并且参与到模型训练当中 将上述的 Word Features 与 Position Features 拼接，输入到卷积网络中，再用Max Pooling 层把每个卷积核的输出进行池化操作。再将池化结果通过一个全连接层，激活函数为 tanh，将其看作一个更高层次的特征映射，得到最终的句子级别的特征向量 g将词汇级别特征与句子级别特征直接拼接，即f=[l;g]，最终将其送入分类器进行分类。 来源： oschina 链接： https://my.oschina.net/jVeNkTdS/blog/4507899

窒故故系辜饰逊驳涡鸥下胖核载戏滥额外增加了时序特征来弥补卷积网络对时序特征抽取能力不足的缺陷。论文中的做法是为每个词拼接两个固定维度的位置向量，分别表示词距离两个关键实体的相对位置信息。如“中国 的 首都 是 北京”，“的”与“中国”的距离大小为 1，与“北京”的距离大小为 -3，再将 1 和 -3 在 Position Embedding 层中查表得到，Position Embedding 层是随机初始化的，并且参与到模型训练当中 将上述的 Word Features 与 Position Features 拼接，输入到卷积网络中，再用Max Pooling 层把每个卷积核的输出进行池化操作。再将池化结果通过一个全连接层，激活函数为 tanh，将其看作一个更高层次的特征映射，得到最终的句子级别的特征向量 g将词汇级别特征与句子级别特征直接拼接，即f=[l;g]，最终将其送入分类器进行分类。 来源： oschina 链接： https://my.oschina.net/fCnShQjJ/blog/4507905

掣链迷腋胖链贺旨诒啃拔轿衬碌链拔额外增加了时序特征来弥补卷积网络对时序特征抽取能力不足的缺陷。论文中的做法是为每个词拼接两个固定维度的位置向量，分别表示词距离两个关键实体的相对位置信息。如“中国 的 首都 是 北京”，“的”与“中国”的距离大小为 1，与“北京”的距离大小为 -3，再将 1 和 -3 在 Position Embedding 层中查表得到，Position Embedding 层是随机初始化的，并且参与到模型训练当中 将上述的 Word Features 与 Position Features 拼接，输入到卷积网络中，再用Max Pooling 层把每个卷积核的输出进行池化操作。再将池化结果通过一个全连接层，激活函数为 tanh，将其看作一个更高层次的特征映射，得到最终的句子级别的特征向量 g将词汇级别特征与句子级别特征直接拼接，即f=[l;g]，最终将其送入分类器进行分类。 来源： oschina 链接： https://my.oschina.net/lVwRcVnG/blog/4507646

嫉乒轿裁呛绦忍宋延罕鸥傲栈倏秦按额外增加了时序特征来弥补卷积网络对时序特征抽取能力不足的缺陷。论文中的做法是为每个词拼接两个固定维度的位置向量，分别表示词距离两个关键实体的相对位置信息。如“中国 的 首都 是 北京”，“的”与“中国”的距离大小为 1，与“北京”的距离大小为 -3，再将 1 和 -3 在 Position Embedding 层中查表得到，Position Embedding 层是随机初始化的，并且参与到模型训练当中 将上述的 Word Features 与 Position Features 拼接，输入到卷积网络中，再用Max Pooling 层把每个卷积核的输出进行池化操作。再将池化结果通过一个全连接层，激活函数为 tanh，将其看作一个更高层次的特征映射，得到最终的句子级别的特征向量 g将词汇级别特征与句子级别特征直接拼接，即f=[l;g]，最终将其送入分类器进行分类。 来源： oschina 链接： https://my.oschina.net/vCwSfJwN/blog/4507654

邻绿戎苏祷贝涣唤拘裳比呐箍影斩禾额外增加了时序特征来弥补卷积网络对时序特征抽取能力不足的缺陷。论文中的做法是为每个词拼接两个固定维度的位置向量，分别表示词距离两个关键实体的相对位置信息。如“中国 的 首都 是 北京”，“的”与“中国”的距离大小为 1，与“北京”的距离大小为 -3，再将 1 和 -3 在 Position Embedding 层中查表得到，Position Embedding 层是随机初始化的，并且参与到模型训练当中 将上述的 Word Features 与 Position Features 拼接，输入到卷积网络中，再用Max Pooling 层把每个卷积核的输出进行池化操作。再将池化结果通过一个全连接层，激活函数为 tanh，将其看作一个更高层次的特征映射，得到最终的句子级别的特征向量 g将词汇级别特征与句子级别特征直接拼接，即f=[l;g]，最终将其送入分类器进行分类。 来源： oschina 链接： https://my.oschina.net/kUuKmAhC/blog/4507657