神经网络算法

ref: 深度学习基础介绍 机器学习19 神经网络NN算法 组成部分：输入层（input layer），隐藏层（hidden layer），输出层（output layer） 每层由单元（units）组成（圆圈） input layer 是由训练集的实例特征向量传入 经过连接结点的权重（weight）传入下一层，一层的输出是下一层的输入 hidden layer 的个数是任意的，input layer 有一层，output layer 有一层 每个 unit 也可以被称作神经结点，根据生物学来源定义 以上为2层的神经网络（输入层不算） 一层中加权的求和，然后根据非线性方程转化输出 作为多层向前神经网络，理论上，如果有足够多的隐藏层（hidden layers）和足够大的训练集，可以模拟任何方程 设计神经网络结构 使用神经网络训练数据之前，必须确定神经网络的层数，以及每层单元的个数 特征向量在被传入输入层时通常被先标准化（normalize）到0和1之间（为了加速学习过程） 离散型变量可以被编码成每一个输入单元对应一个特征值可能赋的值 比如：特征值A可能取三个值（a0, a1, a2），可以使用3个输入单元来代表A 如果 A=a0，那么代表 a0 的单元值就取1，其他取0； 如果 A=a1，那么代表 a1 的单元值就取1，其他取0，以此类推 神经网络既可以用来做分类

文章内容来源：https://blog.csdn.net/ZXQHBD/article/details/69389019 多传感器数据融合是一个新兴的研究领域，是针对一个系统使用多种传感器这一特定问题而展开的一种关于数据处理的研究。多传感器数据融合技术是近几年来发展起来的一门实践性较强的应用技术，是多学科交叉的新技术，涉及到信号处理、概率统计、信息论、模式识别、人工智能、模糊数学等理论。 近年来，多传感器数据融合技术无论在军事还是民事领域的应用都极为广泛。多传感器融合技术已成为军事、工业和高技术开发等多方面关心的问题。这一技术广泛应用于C3I系统、复杂工业过程控制、机器人、自动目标识别、交通管制、惯性导航、海洋监视和管理、农业、遥感、医疗诊断、图像处理、模式识别等领域。实践证明：与单传感器系统相比，运用多传感器数据融合技术在解决探测、跟踪和目标识别等问题方面，能够增强系统生存能力，提高整个系统的可靠性和鲁棒性，增强数据的可信度，并提高精度，扩展整个系统的时间、空间覆盖率，增加系统的实时性和信息利用率等。 1 基本概念及融合原理 1．1 多传感器数据融合概念 数据融合又称作信息融合或多传感器数据融合，对数据融合还很难给出一个统一、全面的定义。随着数据融合和计算机应用技术的发展，根据国内外研究成果，多传感器数据融合比较确切的定义可概括为：充分利用不同时间与空间的多传感器数据资源

神经网络的预备知识 特征提取的高效性。 大家可能会疑惑，对于同一个分类任务，我们可以用机器学习的算法来做，为什么要用神经网络呢？大家回顾一下，一个分类任务，我们在用机器学习算法来做时，首先要明确feature和label，然后把这个数据"灌"到算法里去训练，最后保存模型，再来预测分类的准确性。但是这就有个问题，即我们需要实现确定好特征，每一个特征即为一个维度，特征数目过少，我们可能无法精确的分类出来，即我们所说的欠拟合，如果特征数目过多，可能会导致我们在分类过程中过于注重某个特征导致分类错误，即过拟合。 　　举个简单的例子，现在有一堆数据集，让我们分类出西瓜和冬瓜，如果只有两个特征：形状和颜色，可能没法分区来；如果特征的维度有：形状、颜色、瓜瓤颜色、瓜皮的花纹等等，可能很容易分类出来；如果我们的特征是：形状、颜色、瓜瓤颜色、瓜皮花纹、瓜蒂、瓜籽的数量，瓜籽的颜色、瓜籽的大小、瓜籽的分布情况、瓜籽的XXX等等，很有可能会过拟合，譬如有的冬瓜的瓜籽数量和西瓜的类似，模型训练后这类特征的权重较高，就很容易分错。这就导致我们在特征工程上需要花很多时间和精力，才能使模型训练得到一个好的效果。然而神经网络的出现使我们不需要做大量的特征工程，譬如提前设计好特征的内容或者说特征的数量等等，我们可以直接把数据灌进去，让它自己训练，自我“修正”，即可得到一个较好的效果。 数据格式的简易性 　

本文用于学习反向传播算法！！！ #单隐层神经网络使用反向传播算法训练模型 import numpy as np #使用sigmoid激活函数 def sigmoid(x,deriv=False): if(deriv==True): return (1-x)*x return 1/(1+np.exp(-x)) #训练数据集 x=np.array([[0,0,1], [0,1,1], [1,0,1], [1,1,1], [0,0,1]]) y=np.array([[0], [1], [1], [0], [0]]) #权重随机初始化 np.random.seed(2) w0 = 2*np.random.random((3,4))-1 w1 = 2*np.random.random((4,1))-1 for i in range(10000): #前向传播 l0 = x l1 = sigmoid(np.dot(l0,w0)) l2 = sigmoid(np.dot(l1,w1)) l2_error = -(y-l2) if(i%1000==0): print("error"+str(np.mean(np.abs(l2_error)))) #反向传播 l2_delta = l2_error*sigmoid(l2,True) #输出层的误差 w_ho_pd = l1.T.dot(l2

本文用于利用Pytorch实现神经网络的分类！！！ 1.训练神经网络分类模型 import torch from torch.autograd import Variable import matplotlib.pyplot as plt import torch.nn.functional as F import torch.utils.data as Data torch.manual_seed(1)#设置随机种子，使得每次生成的随机数是确定的 BATCH_SIZE = 5#设置batch size #1.制作两类数据 n_data = torch.ones( 1000,2 ) x0 = torch.normal( 1.5*n_data, 1 )#均值为2 标准差为1 y0 = torch.zeros( 1000 ) x1 = torch.normal( -1.5*n_data,1 )#均值为-2 标准差为1 y1 = torch.ones( 1000 ) print("数据集维度：",x0.size(),y0.size()) #合并训练数据集,并转化数据类型为浮点型或整型 x = torch.cat( (x0,x1),0 ).type( torch.FloatTensor ) y = torch.cat( (y0,y1) ).type( torch.LongTensor )

实现人工智能的方法有很多种，当前最热门的一种就是通过深度学习来训练神经网络。深度学习这个词指的是训练大型神经网络。深代表着非常大的神经网络。那么神经网络到底是什么呢? 如下图： 假设你有一个数据集（包含了六个房屋的面积和价格数据）。你想要找到一个方法（即构建一个函数）来通过面积预测出价格。如果你熟悉线性回归（不熟悉也没关系，你就把它看作是一个数学理论），那么可以根据这个理论在实际数据附近画出一条直线，如上图中红色的线，它附近的蓝色的小圆圈代表着六个房子的面积与房价对应的点，即根据这条线（这个函数）来找某一个面积对应的房价，那么除了些误差外，基本上是准的。 理解：大量的数据通过一个函数进行处理分析，找到相同得规则，然后再根据其他得数据分析出最可能得结果，这就是机器学习得一个大概得流程。 监督学习： 判断是否是监督学习，就看输入数据是否有标签。输入数据有标签，则为有监督学习，没标签则为无监督学习。 分类（classification） 这种机器学习算法就是一种监督学习。对于分类，输入的训练数据有特征（feature），有标签（label）。也就是我们前面文章中的输入x和输出y。每一个x样本都对应着一个y（输出）标签。所谓的学习，其本质就是找到特征和标签间的关系（mapping），也就是找规律。这样当有特征而无标签的未知数据输入时，我们就可以通过已有的关系得到未知数据标签

完整的视频课堂链接如下： https://www.youtube.com/watch?v=DAOcjicFr1Y&list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv&index=9 完整的视频课堂投影片连接： http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture9.pdf 前一课堂笔记连结： 卷积神经网络 + 机器视觉：L8_Static_Tensorflow_Dynamic_Pytorch (斯坦福课堂） Menu this round （Case Study） AlexNet VGG net GoogleNet ResNet AlexNet 此神经网络大致结构（8层）： CONV1 >>> MAX POOL1 >>> NORM1 >>> CONV2 >>> MAX POOL2 >>> NORM2 >>> CONV3 >>> CONV4 >>> CONV5 >>> MAX POOL3 >>> Fully Connected6 >>> FC7 >>> FC8 ** 注意这边标注的是一个大致的 AlexNet 框架组成内容，并没有写出细节。 开始估算整个神经网络需要占用的资源前，先回忆一下 神经个数计算方法 （点击），如果现在有个 input image: 227*227*3，使用 96 个

神经网络中，我们将使用上标方括号的形式表示这些值来自于哪一层，有趣的是在约定俗成的符号传统中，在这里你所看到的这个例子，只能叫做一个两层的神经网络。原因是输入层是不算入总层数内，所以隐藏层是第一层，输出层是第二层。第二个惯例是我们将输入层称为第零层，所以在技术上，这仍然是一个三层的神经网络，因为这里有输入层、隐藏层，还有输出层。但是在传统的符号使用中，如果你阅读研究论文或者在这门课中，你会看到人们将这个神经网络称为一个两层的神经网络，因为我们不将输入层看作一个标准的层。 单个样本时，向量化图示 单个样本时，运用四行代码计算出一个简单神经网络的输出（预测）。 上一节使用的是单个样本，如果把单个样本的向量横向堆叠成矩阵，就可以计算全部样本的神经网络输出（预测）。 Pros and cons of activation functions 结果表明，如果在隐藏层上使用 tanh （双曲正切）函数效果总是优于 sigmoid 函数。因为函数值域在 -1 和 +1 的激活函数，其均值是更接近 0 均值的，而不是0.5，这会使下一层学习简单一点。 在讨论优化算法时，有一点要说明：我基本已经不用 sigmoid 激活函数了，tanh 函数在所有场合都优于 sigmoid 函数。 但有一个例外：在二分类的问题中，对于输出层，想让的数值介于 0 和 1 之间，而不是在 -1 和 +1 之间

版权声明：本文为博主原创文章，未经博主允许不得转载。咨询链接：http://y0.cn/teradat 博文链接： https://blog.csdn.net/qq_19600291/article/details/90485459 神经网络一直是迷人的机器学习模型之一，不仅因为花哨的反向传播算法，而且还因为它们的复杂性（考虑到许多隐藏层的深度学习）和受大脑启发的结构。 神经网络并不总是流行，部分原因是它们在某些情况下仍然存在计算成本高昂，部分原因是与支持向量机（SVM）等简单方法相比，它们似乎没有产生更好的结果。然而，神经网络再一次引起了人们的注意并变得流行起来。 neuralnet 包装拟合一个简单的神经网络，并将线性模型作为比较。 数据集 我们将在MASS包中使用Boston数据集。 波士顿数据集是波士顿郊区房屋价值数据的集合。我们的目标是使用所有其他可用的连续变量来预测自住房屋（medv）的中值。 首先，我们需要检查是否缺少数据点，否则我们需要修复数据集。 apply（data，2，function（x）sum（is.na（x））） 没有遗漏数据，很好。我们通过随机将数据分成火车和测试集来进行，然后我们拟合线性回归模型并在测试集上进行测试。请注意，我正在使用该 gml() 函数而不是 lm() 这将在以后交叉验证线性模型时变得有用。 index < - sample（1

来源：https://www.numpy.org.cn/deep/basics/fit_a_line.html 数字识别 本教程源代码目录在 book/recognize_digits ,初次使用请您参考 Book文档使用说明 。 # 说明: 硬件环境要求： 本文可支持在CPU、GPU下运行 Docker镜像支持的CUDA/cuDNN版本： 如果使用了Docker运行Book，请注意：这里所提供的默认镜像的GPU环境为 CUDA 8/cuDNN 5，对于NVIDIA Tesla V100等要求CUDA 9的 GPU，使用该镜像可能会运行失败。 文档和脚本中代码的一致性问题： 请注意：为使本文更加易读易用，我们拆分、调整了train.py的代码并放入本文。本文中代码与train.py的运行结果一致，可直接运行 train.py 进行验证。 # 背景介绍 当我们学习编程的时候，编写的第一个程序一般是实现打印"Hello World"。而机器学习（或深度学习）的入门教程，一般都是 MNIST 数据库上的手写识别问题。原因是手写识别属于典型的图像分类问题，比较简单，同时MNIST数据集也很完备。MNIST数据集作为一个简单的计算机视觉数据集，包含一系列如图1所示的手写数字图片和对应的标签。图片是28x28的像素矩阵，标签则对应着0~9的10个数字。每张图片都经过了大小归一化和居中处理。