神经网络模型

从AlexNet论文说起，ImageNet Classification with Deep Convolutional Neural Networks。 在ImageNet LSVRC-2010 2012表现突出 top-1误差率37.5%，以及top-5误差率17.0% 网络有6000万个参数和650,000个神经元 网络结构五个卷积层，以及某些卷积层后的池化层，以及最后的三个全连接层 引入正则化方法dropout ReLU修正线性单元的引入，比tanh等要快的多 论文地址： https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf 接下来的NIN论文，Network In Network NIN利用Global average pooling去掉了FC layer, 大大减少了模型大小 利用网络中的网络思想 论文地址： https://arxiv.org/pdf/1312.4400v3.pdf VGG模型论文，VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION 可以看成是加深版本的AlexNet. 都是conv layer + FC layer

取自于TensorFlow实战 import tensorflow as tf #定义tensorflow的CPU运算优先级 import os os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' #导入MNIST手写数字集数据 from tensorflow.examples.tutorials.mnist import input_data mnist=input_data.read_data_sets('MNIST_data/',one_hot=True) #确认导入成功 print(mnist.train.images.shape,mnist.train.labels.shape) print(mnist.test.images.shape,mnist.test.labels.shape) #定义交互式会话框 sess=tf.InteractiveSession() #定义输入输出占位符 x=tf.placeholder(tf.float32,[None,784]) y_=tf.placeholder(tf.float32,[None,10]) #定义权重和偏置 w=tf.Variable(tf.zeros([784,10])) b=tf.Variable(tf.zeros([10])) #定义输出模型，y=x*w+b

完整的视频课堂链接如下： https://www.youtube.com/watch?v=_JB0AO7QxSA&list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv&index=7 完整的视频课堂投影片连接： http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture7.pdf 前一课堂笔记连结： 卷积神经网络 + 机器视觉： L6_初始化_激励函数_BN_梯度下降 （斯坦福课堂） Menu this round Fancier Optimization Regularization Transfer Learning 如果一个神经网络模型中，我们把学习效率 learning rate 总是调的很低，理论上只要时间允许的情况下，结果也总是可以达到预期的。但是现实很骨感，在迅速变迁的时代，学得不够快的模型又怎么能够满足以效率著称的科技公司们的胃口呢？因此必须有一个更好的办法加速这个学习过程，更快的找到 Hyperparameter 才行。 虽然前面说的 Gradient Descent 理论上很完美，总是沿着梯度不断下滑，到最后就可以找到最小值，但是实际过程中越多维度越容易造成的坑坑巴巴路面总是让 GD 的路径扭来扭去，不直接快速的滑到低谷里，因此这边即将介绍一些方法来改进这个缺陷。 最简单的 GD

卷积神经网络 　　卷积神经网络（CNN）是深度学习的代表算法之一 。具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类，因此也被称为“平移不变人工神经网络” 。 随着深度学习理论的提出和数值计算设备的改进，卷积神经网络得到了快速发展，并被应用于 计算机视觉 、 自然语言处理 等领域 。 　　卷积是通过两个函数 f，g 生成第三个函数的一种数学算子，表征函数 f 与 g 经过翻转和平移的重叠部分的面积。数学定义公式： 　　事实上，在卷积网络上使用的离散卷积，也就是不连续的，它是一种运算方式，也就是按照卷积核，将输入对应位置的数据进行加权和运算，接下来结合卷积核的概念，就会很好理解了。 卷积神经网络最重要的两个知识点就是 卷积核 和 卷积神经网络的结构 卷积核 卷积核定义 卷积操作 深度 步幅 零填充 卷积神经网络的结构 输入层 INPUT 卷积层 CONV 激活函数层 RELU 池化层 POOL 全连接层 FC 卷积核 　　 卷积核的定义 ：对于输入图像中的一部分区域，进行加权平均的处理，其中这个过程的权重，由一个函数定义，这个函数就是卷积核。 如下图彩色图像有RGB三个色值通道，分别表示红、绿、蓝，每个通道内的像素可以用一个像下图右边的二维数组表示，数值代表0-255之间的像素值。假设一张900*600的彩色的图片，计算机里面可以用 (900*600*3)的数组表示。

情感分析 本教程源代码目录在 book/understand_sentiment ,初次使用请您参考 Book文档使用说明 。 # 背景介绍 在自然语言处理中，情感分析一般是指判断一段文本所表达的情绪状态。其中，一段文本可以是一个句子，一个段落或一个文档。情绪状态可以是两类，如（正面，负面），（高兴，悲伤）；也可以是三类，如（积极，消极，中性）等等。情感分析的应用场景十分广泛，如把用户在购物网站（亚马逊、天猫、淘宝等）、旅游网站、电影评论网站上发表的评论分成正面评论和负面评论；或为了分析用户对于某一产品的整体使用感受，抓取产品的用户评论并进行情感分析等等。表格1展示了对电影评论进行情感分析的例子： 电影评论 类别 在冯小刚这几年的电影里，算最好的一部的了 正面 很不好看，好像一个地方台的电视剧 负面 圆方镜头全程炫技，色调背景美则美矣，但剧情拖沓，口音不伦不类，一直努力却始终无法入戏 负面 剧情四星。但是圆镜视角加上婺源的风景整个非常有中国写意山水画的感觉，看得实在太舒服了。。 正面 表格 1 电影评论情感分析 在自然语言处理中，情感分析属于典型的文本分类问题，即把需要进行情感分析的文本划分为其所属类别。文本分类涉及文本表示和分类方法两个问题。在深度学习的方法出现之前，主流的文本表示方法为词袋模型BOW(bag of words)，话题模型等等；分类方法有SVM(support

在机器学习和认知科学领域，人工神经网络（artificial neural network，缩写ANN），简称神经网络（neural network，缩写NN）或类神经网络，是一种模仿生物神经网络(动物的中枢神经系统，特别是大脑)的结构和功能的数学模型或计算模型， 用于对函数进行估计或近似 。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统。现代神经网络是一种非线性统计性数据建模工具。典型的神经网络具有以下三个部分： 结构 （Architecture） 结构指定了网络中的变量和它们的拓扑关系。例如，神经网络中的变量可以是神经元连接的权重（weights）和神经元的激励值（activities of the neurons）。 激励函数（Activity Rule） 大部分神经网络模型具有一个短时间尺度的动力学规则，来定义神经元如何根据其他神经元的活动来改变自己的激励值。一般激励函数依赖于网络中的权重（即该网络的参数）。 学习规则（Learning Rule） 学习规则指定了网络中的权重如何随着时间推进而调整。这一般被看做是一种长时间尺度的动力学规则。一般情况下，学习规则依赖于神经元的激励值。它也可能依赖于监督者提供的目标值和当前权重的值。 如上文所说，神经网络主要包括三个部分：结构、激励函数、学习规则

原文链接： https://developers.google.com/machine-learning/crash-course/introduction-to-neural-networks/ 神经网络 是更复杂版本的特征组合。实质上，神经网络会学习适合相应特征组合。 1- 剖析 “非线性问题”意味着无法使用形式为“$b + w_1x_1 + w_2x_2$”的线性模型准确预测标签。 对非线性问题可以用特征组合的方法进行建模。 隐藏层 “隐藏层”表示中间值。 如果构建一个多层模型，“隐藏层”每个节点是上一层输入节点值的加权和，输出是“隐藏层”节点的加权和，那么此模型仍是线性的。 因为当将输出表示为输入的函数并进行简化时，只是获得输入的另一个加权和而已。 激活函数 要对非线性问题进行建模，可以直接引入非线性函数。 可以用非线性函数将每个隐藏层节点像管道一样连接起来。 在隐藏层中的各个节点的值传递到下一层进行加权求和之前，采用一个非线性函数对其进行了转换，这种非线性函数称为激活函数。 通过在非线性上堆叠非线性，能够对输入和预测输出之间极其复杂的关系进行建模。 简而言之，每一层均可通过原始输入有效学习更复杂、更高级别的函数。 常见激活函数 S型激活函数 S型激活函数将加权和转换为介于 0 和 1 之间的值。 S 型函数的响应性在两端相对较快地减少。 公式： 曲线图：

词向量： 无论是一段话或是一篇文章，词都是最基本的组成单位。 如何让计算机利用这些词？ 重点是如何把一个词转换成一个想向量 如果在一个二维空间中，had，has，have意思相同，所以要离的比较近。 need，help也是离的比较近 要表现出相同，相关。 比如说下面的例子： 哪些词离青蛙frog比较近？同义词 对于两种不同语言，建模之后语言空间也是很接近的， 所以可以说构建出来的词向量跟语言类别无关，只是根据语义环（上下文的逻辑）境来建模。 神经网络模型： 将输入词向量进行首尾相接（projection Layer 投影层），在传给神经网络进行参数优化， 这里的输入向量也需要被优化。 训练样本： 包括前n-1个词分别的向量,假定每个词向量大小m 投影层：(n-1)*m 首尾拼接起来的大向量 输出： 表示上下文为 时,下一个词恰好为词典中第i个词的概率 归一化： 目的就是要求出每一个词的词向量是什么。 神经网络的优势： S1 = ‘’我今天去网咖’’ 出现了1000次 S2 = ‘’我今天去网吧’’ 出现了10次 对于N-gram模型：P(S1) >> P(S2) 而神经网络模型计算的P(S1) ≈ P(S2) 神经网络看来，类似的句子和词都是一个东西 只要语料库中出现其中一个， 其他句子的概率也会相应的增大 skip-gram：根据当前词得到上下文。 CBOW： CBOW

　　图像识别技术是信息时代的一门重要的技术，其产生目的是为了让计算机代替人类去处理大量的物理信息。随着计算机技术的发展，人类对图像识别技术的认识越来越深刻。图像识别技术的过程分为信息的获取、预处理、特征抽取和选择、分类器设计和分类决策。简单分析了图像识别技术的引入、其技术原理以及模式识别等，之后介绍了神经网络的图像识别技术和非线性降维的图像识别技术及图像识别技术的应用。从中可以总结出图像处理技术的应用广泛，人类的生活将无法离开图像识别技术，研究图像识别技术具有重大意义。 1、图像识别技术的引入 　　图像识别是人工智能的一个重要领域。图像识别的发展经历了三个阶段：文字识别、数字图像处理与识别、物体识别。图像识别，顾名思义，就是对图像做出各种处理、分析，最终识别我们所要研究的目标。今天所指的图像识别并不仅仅是用人类的肉眼，而是借助计算机技术进行识别。虽然人类的识别能力很强大，但是对于高速发展的社会，人类自身识别能力已经满足不了我们的需求，于是就产生了基于计算机的图像识别技术。这就像人类研究生物细胞，完全靠肉眼观察细胞是不现实的，这样自然就产生了显微镜等用于精确观测的仪器。通常一个领域有固有技术无法解决的需求时，就会产生相应的新技术。图像识别技术也是如此，此技术的产生就是为了让计算机代替人类去处理大量的物理信息，解决人类无法识别或者识别率特别低的信息。 如果你想要系统地学习人工智能

前言 这里分两个程序来完成，第一个程序训练并且保存字体识别模型；第二个程序是输入自己的手写数字在纸上的照片并处理然后识别。minist跟tensorflow官网的介绍大同小易，这里只简要介绍。 背景 神经网络是一种仿生的结果，通过模仿神经元对人类的储存记忆的作用，演化成为利用样本训练模型，并用模型预测新的样本。 模型训练和保存 minst.py，完整可视化代码见 from __future__ import absolute_import, division, print_function, unicode_literals # 用matplotlib可以画图 import matplotlib.pyplot as plt import numpy as np # from tensorflow.examples.tutorials.mnist import input_data # TensorFlow and tf.keras import tensorflow as tf from tensorflow import keras # old_v = tf.logging.get_verbosity() # tf.logging.set_verbosity(tf.logging.ERROR) print(tf.__version__)# tensorflow版本 # 显示函数