relu

1，Sigmoid sigmoid 函数映射之后取值范围为（0，1） tanh函数映射之后取值范围（-1，1） Relu函数映射之后取值范围（0，..）大宇等于0 Sigmoid函数的特点是会把输出限定在0~1之间，如果是非常大的负数，输出就是0，如果是非常大的正数，输出就是1，这样使得数据在传递过程中不容易发散。 Sigmod有两个主要缺点，一是Sigmoid容易过饱和，丢失梯度。从Sigmoid的示意图上可以看到，神经元的活跃度在0和1处饱和，梯度接近于0，这样在反向传播时，很容易出现梯度消失的情况，导致训练无法完整；二是Sigmoid的输出均值不是0，基于这两个缺点，SIgmoid使用越来越少了。 2. tanh tanh是Sigmoid函数的变形，tanh的均值是0，在实际应用中有比Sigmoid更好的效果。 3. ReLU ReLU是近来比较流行的激活函数，当输入信号小于0时，输出为0；当输入信号大于0时，输出等于输入。 ReLU的优点： 1. ReLU是部分线性的，并且不会出现过饱和的现象，使用ReLU得到的随机梯度下降法（SGD）的收敛速度比Sigmodi和tanh都快。 2. ReLU只需要一个阈值就可以得到激活值，不需要像Sigmoid一样需要复杂的指数运算。 ReLU的缺点： 在训练的过程中，ReLU神经元比价脆弱容易失去作用

本周学习的是U-net神经网络，据了解，U-net论文的作者是参加ISBI竞赛取得效果后发表的文章供大家学习，论文原文链接： https://arxiv.org/abs/1505.04597 U-net最早用作生物图像识别，后来在目标检测、图像转换以及Tone Mapping,Reverse Tone Mapping很多地方都有应用，它区别于早期卷积神经网络的特点是早期的卷积层结果和最后基层的结果是采用级联的形式作为新的神经网络层。而U-net网络名称来源于这样一张图： （图片来源于百度） 前面的下采样，提取出信息，后面进行具有“新特性”图像的重建，因为整个形状酷似U型所以被称为U-net 由图中可以看出，U-net主要由conv+relu,maxpooling,up-conv,conv1*1几个部分构成，使用TensorFlow函数化这几个部分结果如下： 1、conv+relu 1 def conv_relu_layer(net,numfilters,name): 2 network = tf.layers.conv2d(net, 3 activation=tf.nn.relu, 4 filters= numfilters, 5 kernel_size=(3,3), 6 padding='Valid', 7 name= "{}_conv_relu".format(name)) 8

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/xiaoxifei/article/details/82735355 最近刚刚发现一个非常好用的显示模型神器Netron https://github.com/lutzroeder/Netron 借助这个工具可以像windows的软件一样导入已经训练好的模型加权重即可一键生成 我目前看了下visdom实现pytorch的网络结构查找还是很困难，在stackflow上有很多人使用自己编写的基于matplotlib来实现网络结构可视化适用性也不是很好，后来查找到使用基于tensorboard所开发的tensorboardX可以很方便的实现pytorch网络结构的可视化，因此决定采用这种方式。 1. tensorboardX的简介 tensorboardX的项目路径：https://github.com/lanpa/tensorboardX tensorboardX是基于tensorboard的思想用来写tensorboard events的工具，可以实现对传统的tensorboard中 scalar，image，figure，histogram，audio，text，graph，onnx_graph等事件进行编写。

Keras中函数与优化器的学习 激活函数 Sigmoid函数 防止梯度弥散现象的发生 Softmax激活函数 ReLU函数 Keras激活函数的使用 优化器 SGD优化器 学习率 Adadelta优化器 损失函数 均方误差 交叉熵损失函数 激活函数 机器学习模型的学习过程就是一个不断地通过数据集来修正自身数学模型中参数的过程。 引入激活函数可以增加神经网络模型的 非线性 ，以便增强对样本非线性关系的拟合能力。如果没有激活函数，那么神经网络的每一层都只相当于矩阵相乘，即便叠加了若干层，也只相当于将这些矩阵连续相乘而已。 激活函数有很多，例如ReLU、Sigmoid、tanh、elu等。 Sigmoid函数 Sigmoid激活函数是一个非线性函数，它的定义域可以是全体实数，而值域却是(0, 1)。也就是说，使用Sigmoid函数通常用在回归预测和二分类（即按照是否大于0.5进行分类）模型的输出层中。 Sigmoid函数的公式如下： S ( x ) = 1 1 + e − x S(x) = \frac{1}{1+e^{-x}} S ( x ) = 1 + e − x 1 ​ 该函数在python下画图 import numpy as np from math import * import matplotlib . pyplot as plt x = np . arange ( - 10

ZFNet 时间： 2013年 出处： Matthew D.Zeiler 和 Rob Fergus （纽约大学）2013年撰写的论文： Visualizing and Understanding Convolutional Networks 目的： AlexNet的提出使得大型卷积网络开始变得流行起来，但是人们对于CNN网络究竟为什么能表现这么好，以及怎么样能变得更好尚不清楚，因此为了针对上述两个问题，提出了一个新颖的可视化技术，“理解”中间的特征层和最后的分类器层，并且找到改进神经网络的结构的方法 做法： 使用反卷积（Deconvnet），可视化特征图（feature map） 通过Deconvnet技术，可视化Alex-net，并指出了Alex-net的一些不足，最后修改网络结构，使得分类结果提升 与AlexNet相比，前面的层使用了更小的卷积核和更小的步长，保留了更多特征 成就： ZFNet是2013年ILSVRC的冠军 贡献： CNN领域可视化理解的开山之作，作者通过可视化解释了为什么CNN有非常好的性能、如何提高CNN性能，然后进行调整网络，提高了精度 论文主要贡献如下： 特征可视化 使用反卷积，可视化feature map 通过feature map可以看出，特征分层次体系结构 前面的层学习的是物理轮廓、边缘、颜色、纹理等特征，后面的层学习的是和类别相关的抽象特征

目录 1.5.2 ZFNet 5.7 反卷积（Deconvnet） 5.7.1 上采样池化（UnPooling） 5.7.2 反卷积过程 5.8 ZFNet 架构设计 5.9 ZFNet 的贡献 1.5.2 ZFNet 在前文中，我们对 AlexNet 的架构以及核心组件做了相关介绍，虽然 AlexNet 赢得了 ILSVRC2012 的冠军，相比传统技术取得辉煌的成就，然而技术绝不止步于此，AlexNet 为什么性能如此优越，它还能如何改进呢？带着这样的问题，在 ILSVRC2013 中，ZFNet 1 利用反卷积可视化技术探讨上述问题，并对 AlexNet 网络加以改进，改进后的 ZFNet 性能已明显超越 AlexNet。 ZFNet 由 Matthew D. Zeiler 和他的博导 Rob Fergus 提出，网络命名来自于他们的名字首字母组合。ZFNet 实际上并不是这一届的冠军，而是由一个创业公司 Clarifai 获得，而 Zeiler 是该公司的 CEO，而我们通常讨论 ILSVRC2013 的获胜者，一般也指的是 ZFNet。 5.7 反卷积（Deconvnet） 在深度学习中提到的反卷积通常是指转置卷积（transposed convolution），卷积操作的一般步骤通常是将输入层的图像经过某个卷积核实现卷积操作，将其映射到输出空间中

ZFNet 1、四个问题 要解决什么问题？ 卷积神经网络具有很好的效果，在ImageNet上取得了开创性的成果，但是我们对其却没有一个直观的认识，以及它为何效果这么好，全当成黑盒子来用。 用了什么方法解决？ 提出了一个新的卷积神经网络可视化技术，来辅助观察中间层以及最后的分类层的输出特征图。 提出了ZFNet，并应用了反卷积技术来做可视化。 效果如何？ ZFNet的效果在ImageNet上超过了AlexNet，这篇论文是14年的，放到现在效果不算最好。 中间层可视化，不同层注重的部分可以较明显地看出来。 还存在什么问题？ 这篇文章主要是帮助理解CNN内部工作机制的，了解思路就足够了。 2、论文概述 2.1、实现方法 实验主要使用AlexNet和LeNet。 使用反卷积（deconvnet）网络来进行可视化操作。提出了一种将激活值映射回输入时的像素空间的方法，从结果可以看出输入特征图的哪些部分造成了特征图的激活。 网络的每一层都使用一个反卷积得到像素级的输出，输入是feature map，输出是图像像素，如下图所示。右图是正常卷积过程，左图是反卷积过程。 过程分为三部分：unpooling --> rectification -->filtering。 unpooling（反池化）：卷积神经网络中的max_pooling操作是不可逆的，但是可以用一组switch变量来记录它激活的位置

面对一个图像分类问题，可以有以下步骤： 1.建立一个简单的CNN模型，一方面能够快速地run一个模型，以了解这个任务的难度 卷积层1 ：卷积核大小3*3，卷积核移动步长1，卷积核个数64，池化大小2*2，池化步长2，池化类型为最大池化，激活函数ReLU。 卷积层2 ：卷积核大小3*3，卷积核移动步长1，卷积核个数128，池化大小2*2，池化步长2，池化类型为最大池化，激活函数ReLU。 卷积层3 ：卷积核大小3*3，卷积核移动步长1，卷积核个数256，池化大小2*2，池化步长2，池化类型为最大池化，激活函数ReLU。 全连接层 ：隐藏层单元数1024，激活函数ReLU。 分类层 ：隐藏层单元数10，激活函数softmax。 参数初始化，所有权重矩阵使用random_normal(0.0, 0.001)，所有偏置向量使用constant(0.0)。使用cross entropy作为目标函数，使用Adam梯度下降法进行参数更新，学习率设为固定值0.001。 该网络是一个有三层卷积层的神经网络，能够快速地完成图像地特征提取。全连接层用于将图像特征整合成分类特征，分类层用于分类。cross entropy也是最常用的目标函数之一，分类任务使用cross entropy作为目标函数非常适合。Adam梯度下降法也是现在非常流行的梯度下降法的改进方法之一，学习率过大会导致模型难以找到较优解

卷积神经网络（Convolutional Neural Network）的结构类似于神经网络，可以看做是对其的改进。它利用 局部连接 、 权值共享 、 多核卷积 、 池化 四个手段大大降低了参数的数目，使得网络的层数可以变得更深，并且能够合理的隐式的提取特征。CNN主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于其特征检测层通过训练数据进行学习，隐式地从训练数据中进行学习， 避免了显式的特征抽取 ；再者由于同一特征映射面上的神经元权值相同，所以 网络可以并行学习 ，这也是卷积网络相对于神经元彼此相连网络的一大优势。卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是 多维输入向量的图像 可以直接输入网络 这一特点避免了特征提取和分类过程中数据重建的复杂度它可以直接处理灰度图片，能够直接用于处理基于图像的分类。 卷积神经网络是一种带有卷积结构的深度神经网络，卷积结构可以减少深层网络占用的内存量。卷积神经网络的结构组成如下图： 其中包含有： 输入层、 卷积层 （Convolutional Layer）、 激励层 （ReLU layer） 池化层 （下采样层Pooling Layer)、 全连接层 （Fully Connected Network） 输出层 卷积神经网络层、池化层

从 relu 的多种实现来看 torch.nn 与 torch.nn.functional 的区别与联系 relu多种实现之间的关系 relu 函数在 pytorch 中总共有 3 次出现： torch.nn.ReLU() torch.nn.functional.relu_() torch.nn.functional.relu_() torch.relu() torch.relu_() 而这3种不同的实现其实是有固定的包装关系，由上至下是由表及里的过程。 其中最后一个实际上并不被 pytorch 的官方文档包含，同时也找不到对应的 python 代码，只是在 __init__.pyi 中存在，因为他们来自于通过C++编写的THNN库。 下面通过分析源码来进行具体分析： torch.nn.ReLU() torch.nn 中的类代表的是神经网络层，这里我们看到作为类出现的 ReLU() 实际上只是调用了 torch.nn.functional 中的 relu relu_ 实现。 class ReLU(Module): r"""Applies the rectified linear unit function element-wise: :math:`\text{ReLU}(x)= \max(0, x)` Args: inplace: can optionally do the