神经网络模型

每个对机器学习感兴趣的机器学习工程师/软件开发人员/学生都在卷积神经网络（也称为CNN）上工作。我们有一个一般理论，即如何训练网络对图像进行分类。但是，刚接触机器学习/神经网络的人们并不了解CNN如何精确地学习参数。 我们知道，在每个转换层中，网络都试图了解基本模式。例如：在第一层中，网络尝试学习图案和边缘。在第二层中，它尝试了解形状/颜色和其他内容。最后一层称为要素层/完全连接层尝试对图像进行分类。 在学习参数之前，我们需要了解卷积网络中的一些基本概念，这对修改/重用源代码非常有帮助。 CNN网络中存在各种层。 输入层： 所有输入层所做的都是读取图像。因此，这里没有学习参数。 卷积层： 考虑一个以“ l ”个特征图为输入并以“ k ”个特征图为输出的卷积层。过滤器尺寸为“ n * m ” 。 在此，输入具有 l = 32个 特征图作为输入， k = 64个 特征图作为输出，并且过滤器大小为 n = 3和m = 3 。重要的是要理解，我们不只是拥有3 * 3过滤器，而是实际上拥有 3 * 3 * 32 过滤器，因为我们的输入具有32个尺寸。作为第一转换层的输出，我们学习了64个不同的 3 * 3 * 32 滤波器，总权重为“ n * m * k * l ”。然后，每个特征图都有一个称为“偏差”的术语。因此，参数总数为“ （n * m * l + 1）* k ”. 池化层 ： 池化层

今日完成 依然还是不停的调参数调参数。发现了有一点不对劲的地方。 如果我把这个地方缩小的一万的范围内的话，这个神经网络就没有办法学习到金额越大惩罚越大的特征，而转为学习一些其他的特征（大概 如果选到五万的话是一个比较合适的界限。 测试了一下是可以学习到这个特征的。 但是准确率并不是很高的 总体来说就是在百分之八十左右徘徊，没有办法升高了。很郁闷。 明日计划 我现在已经不知道该怎么做了。 怎么调整参数都调整不好模型。 难道是数据的问题？ 从前几天的数据分布可以看出来的是，我采取的数据集小样本比较多而缺乏大样本，是否是因为数据的问题？ 其次规模也非常的小，没有办法发挥出神经网络的真正用处。 是否应该再增大数据集规模？ 今日感想 前途茫然，有点不知所措。 到底应该怎么做才可以提高模型的准确度？ 来源： https://www.cnblogs.com/I-AM-DUMBASS/p/11494205.html

这份代码是笔者为了巩固神经网络当中反向传播而写的，同时也巩固了一些对于细节的理解，当然由于笔者水平有限，搭建的仅仅是序列模型，而且有些地方没想清楚就开始写了，导致有点冗长，甚至有些地方还有一些bug或者错误，仅用于学习，代码放在 https://github.com/Spock343/Seq_Model 由于模型不怎么样，则仅用于做简单的分类（自己生成数据集） 在这个模型中，我将每层得到的结果放在该模型的caches中，将对于该层caches的导数放在模型的dcaches中，将对于权重，偏置和卷积核以及相应的导数放在层当中。这里总共写了四种层，卷积层，池化层，扁平化层和全连接层，由于维度的原因，这里将矩阵的二级指针当中，即caches[l][0][0]（l为层数）当中。 首先其中大部分操作都是根据理论直接写的，没什么特别的，这里说一些遇到的困难 在一开始是还没写dropout正则化时，过拟合现象及其严重传统的L2正则化几乎不起效果，在加入dropout之后才稍微解决。 然后是发现训练速度很慢，然后写入Adam优化器之后训练速度很快就上来了。 最后是梯度过大的问题，无论是加了梯度衰减还是，调整学习率都效果不好，但是后来加了梯度裁剪后，才得以解决。 接下来就是调模型和调参数了，在调的过程中可以发现在单层加了很多卷积核的效果远不如做两层卷积核，当时一开始做了两层

import numpy as np np.random.randint(0,49,3) # -*- coding:utf-8 -*- import keras from keras.models import Sequential from keras.layers import Dense,Activation from keras.layers import Convolution2D,MaxPooling2D,Flatten from keras.optimizers import Adam,Adadelta from keras.utils import np_utils #utilities import matplotlib.pyplot as plt %matplotlib inline ####引用CIFAR10的数据集 from keras.datasets import cifar10 (train_x,train_y),(test_x,test_y)=cifar10.load_data() print(train_x.shape,train_y.shape,test_x.shape,test_y.shape) ##把训练的目标值转为one-hot编码 # 1->(0,1,0,0,0,0,0,0,0,0) n_classes=10 train_Y=keras

import random import numpy as np np.random.randint(0,49,3) ##required libararies import tensorflow as tf #import numpy as np import keras from keras.models import Sequential from keras.layers import Dense,Dropout,Convolution2D,MaxPooling2D ###MNIST dataset from tensorflow.examples.tutorials.mnist import input_data mnist=input_data.read_data_sets("./MNIST_data",one_hot=False) ## Establish train and test dataset train_X,train_Y,test_X,test_Y=mnist.train.images,\ mnist.train.labels,mnist.test.images,mnist.test.labels print(train_X.shape,train_Y.shape,test_X.shape,test_Y.shape) train_Y[80] 3

今天我们开始讲下A3C。 解决问题 收敛速度慢是之前Actor-Critic算法的问题。 对此提出三点改进： 1.还记得之前的参数更新公式： θ = θ + α ∇ θ l o g π θ ( S t , A ) δ \theta = \theta + \alpha \nabla_{\theta}log \pi_{\theta}(S_t,A)\delta θ = θ + α ∇ θ ​ l o g π θ ​ ( S t ​ , A ) δ A3C使用了另外的优势函数形式： A ( S , A , w , β ) = Q ( S , A , w , α , β ) − V ( S , w , α ) A(S,A,w,\beta) = Q(S,A, w, \alpha, \beta) - V(S,w,\alpha) A ( S , A , w , β ) = Q ( S , A , w , α , β ) − V ( S , w , α ) 参数更新形式： θ = θ + α ∇ θ l o g π θ ( s t , a t ) A ( S , A , w , β ) \theta = \theta + \alpha \nabla_{\theta}log \pi_{\theta}(s_t,a_t)A(S,A,w,\beta) θ = θ + α ∇ θ ​ l o g π θ ​

一、CNN的作用 1、在图片的分类问题中，我们依旧需要根据训练集去判断测试集属于哪一个类别。图片是由不同的像素点组成，同一种动物不同的形态都会导致像素值的不同，通过CNN我们可以汇总得出图片中动物的整体特征，从而进行比对。 2、给定一张图片，是车还是马未知，是什么车也未知，现在需要模型判断这张图片里具体是一个什么东西，输出结果为：如果是车 那是什么车 二、CNN简介 1、CNN的概念：卷积神经网络是一种带有卷积结构的深度神经网络，卷积结构可以减少网络占用的内存量，三个关键的操作分别是 局部感受野 （每一次只取一小部分）、 权值共享 （相当于一个滤波器）、 pooling层 （适当的降维），有效的减少了参数，缓解了过拟合的问题。 （1）局部感受野：由于图像的空间联系是局部的，每个神经元不需要对全部的图像做感受，只需要感受局部特征即可，然后在更高层将这些感受得到的不同的局部神经元综合起来就可以得到全局的信息了，这样可以减少连接的数目。 （2）权值共享（不同的权值相当于不同的特征进行过滤）：不同神经元之间的参数共享可以减少需要求解的参数，使用多种滤波器去卷积图像就会得到多种特征映射。权值共享其实就是对图像用同样的卷积核进行卷积操作，也就意味着第一个隐藏层的所有神经元所能检测到处于图像不同位置的完全相同的特征。其主要的能力就能检测到不同位置的同一类型特征

项目地址：https://github.com/TrickyGo/Dive-into-DL-TensorFlow2.0 UC 伯克利李沐的《动手学深度学习》开源书一经推出便广受好评。很多开发者使用了书的内容，并采用各种各样的深度学习框架将其复现。 现在，《动手学深度学习》书又有了一个新的复现代码版本——TensorFlow2.0 版，短时间内成为了github上千star项目，欢迎关注。 深度学习简介 你可能已经接触过编程，并开发过一两款程序。同时你可能读过关于深度学习或者机器学习的铺天盖地的报道，尽管很多时候它们被赋予了更广义的名字：人工智能。实际上，或者说幸运的是，大部分程序并不需要深度学习或者是更广义上的人工智能技术。例如，如果我们要为一台微波炉编写一个用户界面，只需要一点儿工夫我们便能设计出十几个按钮以及一系列能精确描述微波炉在各种情况下的表现的规则。再比如，假设我们要编写一个电子邮件客户端。这样的程序比微波炉要复杂一些，但我们还是可以沉下心来一步一步思考：客户端的用户界面将需要几个输入框来接受收件人、主题、邮件正文等，程序将监听键盘输入并写入一个缓冲区，然后将它们显示在相应的输入框中。当用户点击“发送”按钮时，我们需要检查收件人邮箱地址的格式是否正确，并检查邮件主题是否为空，或在主题为空时警告用户，而后用相应的协议传送邮件。 值得注意的是，在以上两个例子中

例： 卷积公式： 卷积和卷积没有什么特别的关系，只是计算步骤比较像，成为卷积神经网络名字的由来。 感受野： 单个感觉神经元的感受野是感觉空间的特定区域(如体表或视野)，在这个区域内，刺激会改变神经元的放电。 卷积神经网络的感受野 卷积神经网络的基本结构 卷积神经网络的组成部分 卷积层+ReLU(Convolution) 池化层（Pooling） 全连接层(Full-connected) 卷积层 不同过滤器可检测不同特征。 卷积运算（二维）： 卷积步长(stride)： 滑动滤波器时每次移动的像素点个数 边缘扩充(addpad) ： Full: 刚开始相交进行卷积 Same：输入和输出保持不变的卷积 Valid: 在图像内进行卷积 如果我们有一个𝑛×𝑛的图像，使用𝑓×𝑓的卷积核进行卷积操作，在进行卷积操作之前我们在图像周围填充𝑝层数据，步幅为s。输出的维度为： 深度（卷积核个数）： 一个卷积层通常包含多个尺寸一致的卷积核 卷积核参数：可以通过训练得出 浅层卷积层：提取的是图像基本特征，如边缘、方向和纹理等特征 深层卷积层：提取的是图像高阶特征，出现了高层语义模式， 如“车轮”、“人脸”等特征 激活函数 Sigmoid激活函数 求导： ReLu激活函数 池化层 池化操作使用某位置相邻输出的总体统计特征作为该位置的输出，常用最大池化（max-pooling）和均值池化（average

卷积神经网络介绍 卷积神经网络是一种多层神经网络，擅长处理图像特别是大图像的相关机器学习问题。 最典型的卷积网络，由卷积层、池化层、全连接层组成。其中卷积层与池化层配合，组成多个卷积组，逐层提取特征，最终通过若干个全连接层完成分类。 卷积层完成的操作，可以认为是受局部感受野概念的启发，而池化层，主要是为了降低数据维度。 综合起来说，CNN通过卷积来模拟特征区分，并且通过卷积的权值共享及池化，来降低网络参数的数量级，最后通过传统神经网络完成分类等任务。 经典卷积神经网络 卷积神经网络是一个多层的神经网络，每层由多个二维平面组成，而每个平面由多个独立神经元组成。 图：卷积神经网络的概念示范：输入图像通过和三个可训练的滤波器和可加偏置进行卷积，滤波过程如图一，卷积后在C1层产生三个特征映射图，然后特征映射图中每组的四个像素再进行求和，加权值，加偏置，通过一个Sigmoid函数得到三个S2层的特征映射图。这些映射图再进过滤波得到C3层。这个层级结构再和S2一样产生S4。最终，这些像素值被光栅化，并连接成一个向量输入到传统的神经网络，得到输出。 一般地，C层为特征提取层，每个神经元的输入与前一层的局部感受野相连，并提取该局部的特征，一旦该局部特征被提取后，它与其他特征间的位置关系也随之确定下来；S层是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射为一个平面