神经网络模型

题目背景 人工神经网络（ Artificial Neural Network A r t i f i c i a l N e u r a l N e t w o r k）是一种新兴的具有自我学习能力的计算系统，在模式识别、函数逼近及贷款风险评估等诸多领域有广泛的应用。对神经网络的研究一直是当今的热门方向，兰兰同学在自学了一本神经网络的入门书籍后，提出了一个简化模型，他希望你能帮助他用程序检验这个神经网络模型的实用性。 题目描述 在兰兰的模型中，神经网络就是一张有向图，图中的节点称为神经元，而且两个神经元之间至多有一条边相连，下图是一个神经元的例子： 神经元〔编号为 1 1） 图中， X_1-X_3 X 1 ​ − X 3 ​ 是信息输入渠道， Y_1-Y_2 Y 1 ​ − Y 2 ​ 是信息输出渠道， C_1 C 1 ​ 表示神经元目前的状态， U_i U i ​ 是阈值，可视为神经元的一个内在参数。 神经元按一定的顺序排列，构成整个神经网络。在兰兰的模型之中，神经网络中的神经元分为几层；称为输入层、输出层，和若干个中间层。每层神经元只向下一层的神经元输出信息，只从上一层神经元接受信息。下图是一个简单的三层神经网络的例子。 兰兰规定， C_i C i ​ 服从公式：（其中 n n是网络中所有神经元的数目） 公式中的 W j i ​ （可能为负值）表示连接 j j号神经元和 i

文章目录 一 监督学习 1 classification分类 （1） Binary Decision Tree(BDT)二分决策树 （2） Naive Bayesian Classifier朴素贝叶斯分类器 （3） Neural Network(NN)神经网络 （4）Convolution NN(CNN)卷积神经网络 （5）Deep Belief Networks(DBN)深度信念网络 （6）Recurrent NN(RNN)深度循环神经网络 2 regression回归 （1）LinearRegression线性回归： （2）树回归： 二 强化学习 1 Q-learning 2 Deep Q Networks 3 Double Q-learning 4 Prioritized experience replay 三 无监督学习 1 Dimensionality Reduction降维 （1）Stacked Auto-Encoders(SAE)栈式自编码 （2）Local Linear Embedding局部线性嵌入 2 Clustering聚类 （1）聚类算法简介 （2）聚类算法分类 （3）KMeans算法 （4）层次聚类（hierarchical clustering） （5） DBSCAN（基于密度的聚类算法） 3 Density Estimation密度估计 一 监督学习

数据集： sigmoid与条件概率的关系及推导过程 sigmoid是机器学习中常用的激活函数，其优势作者这里不一一赘述，本文主要从另一个角度，判别模型（discriminative model)条件概率的角度对sigmoid函数进行推导。 机器学习判别模型主要想通过神经网络对 P(Y|X) 进行建模。 假设 xϵRn 且yϵy1,y2且P(x|y1)∼N(μ1,∑) 且 P(x|y1)∼N(μ1,∑) 根据上述假设可得： 根据贝叶斯公式： 观察 P(x|y1)P(x|y2) 带入假设P(x|y1),P(x|y2) 概率密度函数，可得 注：（1）同理也可以通过假设多个条件概率密度函数，也可以求得softmax形式。（2）为了便于推导方便这里假设协方差矩阵相同，不同的话也没有问题，不影响最终线性表达式的形式 归一化，也算是数据标准化方法之一。常见的计算公式如下，得到新数据范围在[0,1]之间，归一化由此得名。 归一化：１）把数据变成(０，１)或者（1,1）之间的小数。 物理量按照其属性分为两类：1.物理量的大小与度量所选用的单位有关，称为有量纲量，例如，时间、长度、质量、速度、力、能量等。2.物理量的大小与度量所选的单位无关，称为无量纲量，例如角度、增益、两个长度之比等。 来源： https://blog.csdn.net/shenwansan_gz/article/details

# -*- coding: utf-8 -*- """ Created on Thu Jul 20 09:59:50 2017 @author: Administrator """ import pandas as pd inputfile = 'input.xlsx' #excel输入 outputfile = 'output.xls' #excel输出 modelfile = 'modelweight.model' #神经网络权重保存 data = pd.read_excel(inputfile,index='Date',sheetname=0) #pandas以DataFrame的格式读入excel表 feature = ['F1','F2','F3','F4'] #影响因素四个 label = ['L1'] #标签一个，即需要进行预测的值 data_train = data.loc[range(0,20)].copy() #标明excel表从第0行到520行是训练集 #2 数据预处理和标注 data_mean = data_train.mean() data_std = data_train.std() data_train = (data_train - data_mean)/data_std #数据标准化 x_train = data_train[feature].as

本阶段的博客内容是关于深度学习知识，总结吴恩达老师的课程的内容，笔记大部分转载自 https://www.cnblogs.com/ys99/ 这个博主。 1.1欢迎 主要讲了五门课的内容： 第一门课：神经网络基础，构建网络等； 第二门课：神经网络的训练技巧； 第三门课：构建机器学习系统的一些策略，下一步该怎么走（吴恩达老师新书《Machine Learning Yearning》就是针对这个以及上一课）； 第四门课：卷积神经网络相关； 第五门课：循环神经网络相关。 1.2什么是神经网络 （1）常说的深度学习指的就是训练神经网络，或者也指特别大规模的神经网络。 （2）每一个神经元都代表着从输入到输出的函数映射，如下的房价预测： （3）激活函数Relu（Rectified Linear Unit）其实就是max(0,x)。 （4）神经网络非常擅长计算从x到y的精确映射函数（个人理解：神经网络实质就是非线性的多项式拟合），神经网络的输入单元个数一般是特征个数，中间称为隐藏层，然后输出单元个数依据实际情况而定，如下输出是房价的预测值，故是一个神经元。 1.3神经网络的监督学习 （1）神经网络在监督学习上的应用： （2）数据包括结构化数据和非结构化数据，图像语言语音都是非结构化数据，是神经网络要研究解决的重点。 1.4为什么深度学习会兴起 （1）三点原因：数据规模大、计算速度提高、算法的创新

卷积神经网络的训练过程分为两个阶段。第一个阶段是数据由低层次向高层次传播的阶段，即前向传播阶段。另外一个阶段是，当前向传播得出的结果与预期不相符时，将误差从高层次向底层次进行传播训练的阶段，即反向传播阶段。训练过程如图4-1所示。训练过程为： 1、网络进行权值的初始化； 2、输入数据经过卷积层、下采样层、全连接层的向前传播得到输出值； 3、求出网络的输出值与目标值之间的误差； 4、当误差大于我们的期望值时，将误差传回网络中，依次求得全连接层，下采样层，卷积层的误差。各层的误差可以理解为对于网络的总误差，网络应承担多少；当误差等于或小于我们的期望值时，结束训练。 5、根据求得误差进行权值更新。然后在进入到第二步。 图4-1卷积神经网络的训练过程 1.1卷积神经网络的前向传播过程 在前向传播过程中，输入的图形数据经过多层卷积层的卷积和池化处理，提出特征向量，将特征向量传入全连接层中，得出分类识别的结果。当输出的结果与我们的期望值相符时，输出结果。 1.1.1卷积层的向前传播过程 卷积层的向前传播过程是，通过卷积核对输入数据进行卷积操作得到卷积操作。数据在实际的网络中的计算过程，我们以图3-4为例，介绍卷积层的向前传播过程。其中一个输入为15个神经元的图片，卷积核为2×2×1的网络，即卷积核的权值为W1，W2，W3，W4。那么卷积核对于输入数据的卷积过程，如下图4-2所示

2019年年初，ApacheCN组织志愿者翻译了PyTorch1.0版本中文文档（ github地址 ），同时也获得了PyTorch官方授权，我相信已经有许多人在 中文文档官网 上看到了。不过目前 校对 还缺人手，希望大家踊跃参与。之前一段时间我们和PyTorch的有关负责人Bruce Lin一直在进行邮件交流。在之后适当的时候，我们会组织志愿者进行其他有关PyTorch的项目，欢迎大家加入我们，关注我们。更希望我们的一系列工作能够对大家有所帮助。 译者： bat67 校对者： FontTian 可以使用 torch.nn 包来构建神经网络. 我们已经介绍了 autograd ， nn 包则依赖于 autograd 包来定义模型并对它们求导。一个 nn.Module 包含各个层和一个 forward(input) 方法，该方法返回 output 。 例如，下面这个神经网络可以对数字进行分类： 这是一个简单的前馈神经网络（feed-forward network）。它接受一个输入，然后将它送入下一层，一层接一层的传递，最后给出输出。 一个神经网络的典型训练过程如下： 定义包含一些可学习参数（或者叫权重）的神经网络 在输入数据集上迭代 通过网络处理输入 计算损失（输出和正确答案的距离） 将梯度反向传播给网络的参数 更新网络的权重，一般使用一个简单的规则： weight = weight

先从回归(Regression)问题说起。我在本吧已经看到不少人提到如果想实现强AI，就必须让机器学会观察并总结规律的言论。具体地说，要让机器观察什么是圆的，什么是方的，区分各种颜色和形状，然后根据这些特征对某种事物进行分类或预测。其实这就是回归问题。 如何解决回归问题？我们用眼睛看到某样东西，可以一下子看出它的一些基本特征。可是计算机呢？它看到的只是一堆数字而已，因此要让机器从事物的特征中找到规律，其实是一个如何在数字中找规律的问题。 例：假如有一串数字，已知前六个是1、3、5、7，9，11，请问第七个是几？ 你一眼能看出来，是13。对，这串数字之间有明显的数学规律，都是奇数，而且是按顺序排列的。 那么这个呢？前六个是0.14、0.57、1.29、2.29、3.57、5.14，请问第七个是几？ 这个就不那么容易看出来了吧！我们把这几个数字在坐标轴上标识一下，可以看到如下图形： 用曲线连接这几个点，延着曲线的走势，可以推算出第七个数字——7。 由此可见，回归问题其实是个曲线拟合(Curve Fitting)问题。那么究竟该如何拟合？机器不可能像你一样，凭感觉随手画一下就拟合了，它必须要通过某种算法才行。 假设有一堆按一定规律分布的样本点，下面我以拟合直线为例，说说这种算法的原理。 其实很简单，先随意画一条直线，然后不断旋转它。每转一下，就分别计算一下每个样本点和直线上对应点的距离

6.1 为什么需要RNN？ ​时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度。一般的神经网络，在训练数据足够、算法模型优越的情况下，给定特定的x，就能得到期望y。其一般处理单个的输入，前一个输入和后一个输入完全无关，但实际应用中，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。比如： ​当我们在理解一句话意思时，孤立的理解这句话的每个词不足以理解整体意思，我们通常需要处理这些词连接起来的整个序列； 当我们处理视频的时候，我们也不能只单独的去分析每一帧，而要分析这些帧连接起来的整个序列。为了解决一些这样类似的问题，能够更好的处理序列的信息，RNN就由此诞生了。 6.2 图解RNN基本结构 6.2.1 基本的单层网络结构 ​在进一步了解RNN之前，先给出最基本的单层网络结构，输入是 $x$ ，经过变换 Wx+b 和激活函数 f 得到输出 y ： 6.2.2 图解经典RNN结构 ​在实际应用中，我们还会遇到很多序列形的数据，如： 自然语言处理问题。x1可以看做是第一个单词，x2可以看做是第二个单词，依次类推。 语音处理。此时，x1、x2、x3……是每帧的声音信号。 时间序列问题。例如每天的股票价格等等。 其单个序列如下图所示： 前面介绍了诸如此类的序列数据用原始的神经网络难以建模，基于此，RNN引入了隐状态$h$

3.1 基本概念 3.1.1 神经网络组成 神经网络类型众多，其中最为重要的是多层感知机。为了详细地描述神经网络，我们先从最简单的神经网络说起。 感知机 多层感知机中的特征神经元模型称为感知机，由Frank Rosenblatt于1957年发明。 简单的感知机如下图所示： 其中$x_1$，$x_2$，$x_3$为感知机的输入，其输出为： $ output = \left{ \begin{aligned} 0, \quad if \ \ \sumi wi xi \leqslant threshold \ 1, \quad if \ \ \sumi wi xi > threshold \end{aligned} \right. $ 假如把感知机想象成一个加权投票机制，比如 3 位评委给一个歌手打分，打分分别为$ 4 $分、$1$ 分、$-3 $分，这$ 3$ 位评分的权重分别是 $1、3、2$，则该歌手最终得分为 $4 \times 1 + 1 \times 3 + (-3) \times 2 = 1$ 。按照比赛规则，选取的 $threshold$ 为 $3$，说明只有歌手的综合评分大于$ 3$ 时，才可顺利晋级。对照感知机，该选手被淘汰，因为： $$ \sumi wi x_i < threshold=3, output = 0 $$ 用 $-b$ 代替 $threshold$