神经网络模型

Abstract 本人能力有限，本篇文章只介绍图神经网络的结构，不涉及具体的训练过程和原理 参考 https://blog.csdn.net/u012678060/article/details/81056008 （侵权则删） 1.简介 针对图而言，信息有两大类，一类为节点，一类为边，为了结构分析简洁，我们这里只考虑无向图。图的节点包含了一个节点的状态，我们用x（i）表示节点i的特征信息，用l（i）表示每个节点的状态，用l（i，j）表示节点i和节点j连接的边的状态（如果有边）。节点的特征x，我们可以假设一个函数f，通过模型不断这个函数，可以通过节点和节点之间的状态，提取整张图中所有点的状态信息。分析图如下： 我们的工作就是去学习得到每个节点的状态，但是我们发现节点i的状态与他周围的节点状态都有关系，所以会形成一个循环，我们可以通过循环迭代的方式，去求解全图所有点的状态。 2.节点特征的输出 我们这里考虑节点的特征，包含节点的状态，节点周围边的状态，所以，我们引入一个函数g进行输出，因此，我们引入了两个函数f和g，一个用于求解每个节点的状态，一个用于将节点的特征输出。写出迭代的表达式，并参考上述的CSDN博客的两张图。 其中f和g可以设计成神经网络结构进行训练 3.模型的学习方法 假设通过多次迭代可以收敛到特定值，这里的收敛需要一定的数学推导，由于数学能力不足，我们先不考虑收敛的问题

图神经网络模型 摘要 引言 图神经网络模型 符号 模型 状态值的计算 学习算法 变换和输出函数实现 Linear GNN Nonlinear GNN 实验结果 The Mutagenesis Problem 计算复杂性 The Graph Neural Network Model 摘要 数据包含许多潜在关系可以表示为图，这些数据存在于科学和工程的众多领域，比如计算机视觉、分子化学、分子生物、模式识别以及数据挖掘。本文提出了一种新型的神经网络模型，称为图神经网络( GNN )模型，对现有的神经网络模型进行了拓展，适用于处理可以表示为图的数据。 GNN 模型通过一个函数 τ ( G , n ) ∈ R m \tau(G,n) \in \mathbb{R}^m τ ( G , n ) ∈ R m 将图 G G G 和其中的一个顶点 n n n 映射到一个 m − m- m − 维欧式空间，可以直接处理众多实用类型的图，比如无环图，圈，有向和无向图等。通过一个监督学习算法对GNN模型的参数进行评估，并考虑了算法的计算成本。实验的结果证实了算法的有效性和泛化能力。 I n d e x Index I n d e x T e r m s Terms T e r m s : 图神经网络，图处理，递归神经网络 引言 在许多领域数据可以自然的转化为图结构，比如蛋白质组学、图像分析

近年来，图神经网络的研究成为深度学习领域的热点。近日，清华大学孙茂松组在 arXiv 上发布预印版综述文章 Graph Neural Networks: A Review of Methods and Applications 。 该文总结了近年来图神经网络领域的经典模型与典型应用，并提出了四个开放性问题。 对于希望快速了解这一领域的读者，不妨先从这篇文章看起。 除了这篇综述外，文章作者在 Github 中更新了该领域的参考文章列表（ https://github.com/thunlp/GNNPapers ），供各位读者参考查看。 引言 图是一种数据结构，它对一组对象（节点）及其关系（边）进行建模。近年来，由于图结构的强大表现力，用机器学习方法分析图的研究越来越受到重视。图神经网络（GNN）是一类基于深度学习的处理图域信息的方法。由于其较好的性能和可解释性，GNN 最近已成为一种广泛应用的图分析方法。 GNN 的第一个动机源于卷积神经网络（CNN）。 CNN 的广泛应用带来了机器学习领域的突破并开启了深度学习的新时代。然而 CNN 只能在规则的 Euclidean 数据上运行，如图像（2 维网格）和文本（1 维序列）。如何将 CNN 应用于图结构这一非欧几里德空间，成为 GNN 模型重点解决的问题。 ▲ 图1. 左：图像（欧几里得空间） 右：图（非欧几里德空间） GNN

https://www.toutiao.com/a6686414387671990796/ DeepMind、谷歌大脑、MIT等机构联合提出“图网络”（GNN），将端到端学习与归纳推理相结合，有望解决深度学习无法进行关系推理的问题。 近年来图神经网络受到大家越来越多的关注，在文本分类(Text classification)，序列标注（Sequence labeling）, 神经机器翻译（Neural machine translation）,关系抽取（Relation extraction），事件抽取（Event extraction）, 图像分类（Image Classification），视觉推理（Visual Reasoning），语义分割（Semantic Segmentation）等等领域都有了一些应用。 斯坦福大学的多位博士后和博士生做了一个综述： 由基于神经网络和图网络的任务入手，对图神经网络的建立、架构、训练模式和模型特征等方面做了系统的梳理和介绍，并在最后给出了几个产业界和学术界的应用实例。 图神经网络相关论文GitHub总结： https://github.com/PeijiYang/GNNPapers 来源： CSDN 作者： 喜欢打酱油的老鸟 链接： https://blog.csdn.net/weixin_42137700/article/details

前言：前段时间学习了各种神经网络，今天做个小总结。以便以后自己复习！ 一．RNN-循环神经网络 1.原理：根据“人的认知是基于过往的经验和记忆”这一观点提出。RNN之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。如处理电影评论时，不能一次处理一条，而要将所有评论转化为一个大向量，再一次性处理。 2.结构： 每个方框可以看做是一个单元，每个单元做的事情也是一样的，用一句话解释RNN就是，一个单元结构重复使用。 3.应用：自然语言处理（NLP），文本生成（机器写小说），语言模型等。 4.简例： （1）生成莎士比亚文集：我们利用RNN循环神经网络，生成新的文本。 >>代码如下：<1>定义模型参数 <2>恢复模型 <3>结果： （2）识别mnist数据集：MNIST数据集是深度学习的经典入门demo，它是由6万张训练图片和1万张测试图片构成的，每张图片都是28*28大小（如下图），而且都是黑白色构成（这里的黑色是一个0-1的浮点数，黑色越深表示数值越靠近1），这些图片是采集的不同的人手写从0到9的数字。 在tensorflow中已经内嵌了mnist数据集，如下： >>代码如下： >>结果有： 二．CNN

一、深度学习概念 1.什么是深度学习 深度学习(Deep Learning)是机器学习的一种形式，概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。它是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据。 2.基本变换（层的概念） 神经网络是由一层一层构建的，那么每层究竟在做什么？ 数学式子： ，其中 是输入向量， 是输出向量， 是偏移向量， 是权重矩阵， 是激活函数。每一层仅仅是把输入 经过如此简单的操作得到 。 数学理解：通过如下5种对输入空间（输入向量的集合）的操作，完成 输入空间 —> 输出空间 的变换 (矩阵的行空间到列空间)。 注：用“空间”二字的原因是被分类的并不是单个事物，而是一类事物。空间是指这类事物所有个体的集合。 1. 升维/降维 2. 放大/缩小 3. 旋转 4. 平移 5. “弯曲” 这5种操作中，1,2,3的操作由 完成，4的操作是由 完成，5的操作则是由 来实现。 每层神经网络的数学理解：用线性变换跟随着非线性变化，将输入空间投向另一个空间。 线性可分视角：神经网络的学习就是学习如何利用矩阵的线性变换加激活函数的非线性变换，将原始输入空间投向线性可分/稀疏的空间去分类/回归。 增加节点数

🚙 Index 多层感知机（MLP）介绍 深度神经网络的激活函数 深度神经网络的损失函数 多层感知机的反向传播算法 神经网络的训练技巧 深度卷积神经网络 前馈神经网络（feedforward neural network）是一种最简单的 神经网络 ，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层．各层间没有反馈。是目前应用最广泛、发展最迅速的 人工神经网络 之一。研究从20世纪60年代开始，目前理论研究和实际应用达到了很高的水平 ——百度百科 而深度学习模型，类似的模型统称是叫 深度前馈网络（Deep Feedforward Network） ，其目标是拟合某个函数f，由于从输入到输出的过程中不存在与模型自身的反馈连接，因此被称为“前馈”。常见的深度前馈网络有：多层感知机、自编码器、限制玻尔兹曼机、卷积神经网络等等。 01 多层感知机（MLP）介绍 说起 多层感知器（Multi-Later Perceptron） ，不得不先介绍下 单层感知器（Single Layer Perceptron） ，它是最简单的神经网络，包含了输入层和输出层，没有所谓的中间层（隐含层），可看下图： 也就是说，将输入向量赋予不同的权重向量，整合后加起来，并通过激活函数输出1或-1，一般单层感知机只能解决线性可分的问题，如下图： 我选择了0个隐含层

1、什么是神经网络？ （1）房价预测模型Ⅰ： 神经网络：size x ——> O ——> price y ReLU函数（Rectified linear unit 修正线性单元）：修改线性的函数，避免出现price未负数的情况. （2）房价预测模型Ⅱ： 即神经网络为： 2、Binary classification（二分分类）： 以识别照片中的猫为例 ① 判定：若是猫，则 y = 1；若不是猫，则 y = 0. ② 图片规格：64*64，数字化表示：3个 64*64矩阵，分别表示Red Green Blue的强度值. ③ 样本x的向量长度：n x = 64*64*3 = 12288. ④ 训练集：{(x (1) , y (1) ), (x (2) , y (2) ), ..., (x (m) , y (m) )}. ⑤ 训练集数量：m train ，测试集数量：m test . ⑥ 矩阵X：有m列，每一列表示一个样本x (i) . ⑦ 向量Y：长度为m. 3、Logistic regression（逻辑回归）： （1）问题定义： 给出 x，求 y^ = P(y = 1 | x)，即在 x 的条件下，照片是猫的概率，y^ 的取值为[0, 1]. （2）解决思路： 给出参数 w（n x 长度向量），参数 b（常数）. 输出 y^ = w T x + b（ b 即 θ 0 ，w 即 θ

1. Kaldi 中实现的 dnn 共 4 种： a. nnet1 - 基于 Karel's 的实现，特点：简单，仅支持单 GPU, 由 Karel 维护 b. nnet2 - 基于 Daniel Povey p-norm 的实现，特点：灵活，支持多 GPU、CPU，由 Daniel 维护 c. nnet3 - nnet2 的改进，由 Daniel 维护 d. (nnet3 + chain) - Daniel Povey 改进的 nnet3， 特点：可以实现实时解码，解码速率为 nnet3 的 3~5 倍 目前来看：minibatch Stochastic Gradient Descent 用于 DNN 梯度下降的效果最好 从一个小样本含 （τ个样本） 估计出一个 avarage gradient , 这个小样本就叫做 minibatch 2. 先从 nnet2 说起 a. nnet2 最顶层的训练脚本：steps/nnet2/train_pnorm_fast.sh 通过多计算节点，完成并行化训练 b. 输入神经网络的特征 输入神经网络的特征是可配置的，通常为MFCC+LDA+MLLT+fMLLR, 40-维的特征，从网络上看到的是由7帧(从中间帧到左右帧都是3帧)组成的一个帧窗。由于神经网络很难从相关输入的数据中学习，因此，以 40*7 维特征作为一个不相关的固定变换形式，通过

1. Kaldi 中实现的 dnn 共 4 种： a. nnet1 - 基于 Karel's 的实现，特点：简单，仅支持单 GPU, 由 Karel 维护 b. nnet2 - 基于 Daniel Povey p-norm 的实现，特点：灵活，支持多 GPU、CPU，由 Daniel 维护 c. nnet3 - nnet2 的改进，由 Daniel 维护 d. (nnet3 + chain) - Daniel Povey 改进的 nnet3， 特点：可以实现实时解码，解码速率为 nnet3 的 3~5 倍 目前来看： minibatch Stochastic Gradient Descent 用于 DNN 梯度下降的效果最好 从一个小样本含 （ τ个样本） 估计出一个 avarage gradient , 这个小样本就叫做 minibatch 2. 先从 nnet2 说起 a. nnet2 最顶层的训练脚本：steps/nnet2/train_pnorm_fast.sh 通过多计算节点，完成并行化训练 b. 输入神经网络的特征 输入神经网络的特征是可配置的，通常为MFCC+LDA+MLLT+fMLLR, 40-维的特征，从网络上看到的是由7帧(从中间帧到左右帧都是3帧)组成的一个帧窗。由于神经网络很难从相关输入的数据中学习，因此，以 40*7 维特征作为一个不相关的固定变换形式