神经网络模型

故障诊断主要包括三部分： 　　1、 故障信号检测方法 （定子电流信号检测 [ 定子电流幅值和电流频谱 ] ，振动信号检测，温度信号检测，磁通检测法，绝缘检测法，噪声检测法） 　　2、故障信号的处理方法，即故障特征提取（FFT，Hilbert 变换，小波变换，Hilbert-Huang变换）。 　　3、故障识别技术 基于解析模型法（建立良好的电机模型并对隔状态参数进行估计，需要较好的专业知识） 基于人工智能法（基于专家系统：建立对比数据库；基于神经网络来做故障分类和识别；基于SVM，可处理分类时实现现有样本的最优解） 异步电动机构成：定子，转子，轴承，机座，扇叶和空气间隙 工作原理：通电流引起旋转磁场，旋转磁场和感应电流相互作用，形成电磁转矩，达成了从电能到机械能的转换。 故障类型： 　 　1、定子部分故障（12.9%） 定子铁心短路与松动故障：（定、转子相互摩擦），会导致局部过热、空载电流过大、振动和噪声加强。 定子绕组短路故障：（负载过载，过压，欠压，绝缘材料有问题）,较高热量，短路电流，异常振动。 定子绕组接地故障：（绝缘线损坏，线圈直接与铁心或者机座相连） 　　2、转子部分故障（10%） 转子断条（电流增加而且不稳定，发热严重），产生原因： 　　电机启动时突然增加的电流和温度，受到冲击性负载，转子质量不好都会对转子有很大的冲击。 　 　3、气隙偏心（原本定子和转子应是同心）

1.LeNet模型 LeNet是一个早期用来识别手写数字的卷积神经网络，这个名字来源于LeNet论文的第一作者Yann LeCun。LeNet展示了通过梯度下降训练卷积神经网络可以达到手写数字识别在当时最先进的成果，这个尊基性的工作第一次将卷积神经网络推上舞台 上图就是LeNet模型，下面将对每层参数进行说明 1.1 input输入层 假设输入层数据shape=(32,32) 1.2 C1卷积层 卷积核大小: kernel_size=(5,5) 步幅:stride = 1 输出通道为6 可训练参数为: (5 * 5 + 1) * 6 激活函数：采用relu 输入层数据经过C1卷积层后将得到feature maps形状(6 * 28 * 28),注：28 = 32 -5 + 1 1.3 S2池化层 池化层(Max Pooling)窗口形状均为2 2，步幅度为2，输出feature maps为(6 14 * 14),6为feature map的数量 1.4 C3卷积层 卷积核大小: kernel_size=(5,5) 步幅:stride = 1 输出通道为16 激活函数：采用relu得到feature maps为(16 * 10 * 10),(10*10)为每个feature map形状,16为feature map数量 1.5 S4池化层 池化层(Max Pooling

NLP的发展趋势：规则—>统计—>深度学习。 自然语言处理的发展大致经历了4个阶段：1956年以前的萌芽期；1957-1970年的快速发展期；1971 -1993年的低谷的发展期和1994年至今的复苏融合期。 一、萌芽期(1956年以前) 1956年以前，可以看作自然语言处理的基础研究阶段。一方面，人类文明经过了几千年的发展，积累了大量的数学、语言学和物理学知识。这些知识不仅是计算机诞生的必要条件，同时也是自然语言处理的理论基础。另一方面，阿兰·图灵在1936年首次提出了“图灵机”的概念。“图灵机”作为计算机的理论基础，促使了1946年电子计算机的诞生。而电子计算机的诞生又为机器翻译和随后的自然语言处理提供了物质基础。 由于来自机器翻译的社会需求，这一时期也进行了许多自然语言处理的基础研究。1948年Shannon把离散马尔可夫过程的概率模型应用于描述语言的自动机。接着，他又把热力学中“熵”(entropy)的概念引用于语言处理的概率算法中。上世纪50年代初，Kleene研究了有限自动机和正则表达式。1956年，Chomsky又提出了上下文无关语法，并把它运用到自然语言处理中。他们的工作直接引起了基于规则和基于概率这两种不同的自然语言处理技术的产生。而这两种不同的自然语言处理方法，又引发了数十年有关基于规则方法和基于概率方法孰优孰劣的争执。 另外

卷积神经网络 　　卷积神经网络（CNN）是深度学习的代表算法之一 。具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类，因此也被称为“平移不变人工神经网络” 。 随着深度学习理论的提出和数值计算设备的改进，卷积神经网络得到了快速发展，并被应用于 计算机视觉 、 自然语言处理 等领域 。 　　卷积是通过两个函数 f，g 生成第三个函数的一种数学算子，表征函数 f 与 g 经过翻转和平移的重叠部分的面积。数学定义公式： 　　事实上，在卷积网络上使用的离散卷积，也就是不连续的，它是一种运算方式，也就是按照卷积核，将输入对应位置的数据进行加权和运算，接下来结合卷积核的概念，就会很好理解了。 卷积神经网络最重要的两个知识点就是 卷积核 和 卷积神经网络的结构 卷积核 卷积核定义 卷积操作 深度 步幅 零填充 卷积神经网络的结构 输入层 INPUT 卷积层 CONV 激活函数层 RELU 池化层 POOL 全连接层 FC 卷积核 ​　　卷积核是整个网络的核心，训练 CNN 的过程就是不断更新卷积核参数直到最优的过程。 　　 卷积核的定义 ：对于输入图像中的一部分区域，进行加权平均的处理，其中这个过程的权重，由一个函数定义，这个函数就是卷积核。 如下图彩色图像有RGB三个色值通道，分别表示红、绿、蓝，每个通道内的像素可以用一个像下图右边的二维数组表示，数值代表0-255之间的像素值

上一章我们学习了感知机。关于感知机，既有好消息，也有坏消息。好消息是，即便对于复杂的函数，感知机也隐含着能够表示它的可能性。上一章已经介绍过，即便是计算机进行的复杂处理，感知机（理论上）也可以将其表示出来。坏消息是，设定权重的工作，即确定合适的、能符合预期的输入与输出的权重，现在还是由人工进行的。上一章中，我们结合与门、或门的真值表人工决定了合适的权重。 神经网络的出现就是为了解决刚才的坏消息。具体地讲，神经网络的一个重要性质是它可以自动地从数据中学习到合适的权重参数。本章中，我们会先介绍神经网络的概要，然后重点关注神经网络进行识别时的处理。在下一章中，我们将了解如何从数据中学习权重参数。 3.1 从感知机到神经网络 神经网络和上一章介绍的感知机有很多共同点。这里，我们主要以两者的差异为中心，来介绍神经网络的结构。 3.1.1 神经网络的例子 用图来表示神经网络的话，如图3-1所示。我们把最左边的一列称为 输入层 ，最右边的一列称为 输出层 ，中间的一列称为中间层。中间层有时也称为 隐藏层 。“隐藏”一词的意思是，隐藏层的神经元（和输入层、输出层不同）肉眼看不见。另外，本书中把输入层到输出层依次称为第0层、第1层、第2层（层号之所以从0开始，是为了方便后面基于Python 进行实现）。图3-1中，第0层对应输入层，第1层对应中间层，第2层对应输出层。 图3-1　神经网络的例子

【深度森林第三弹】周志华等提出梯度提升决策树再胜DNN 技术小能手 2018-06-04 14:39:46 浏览848 分布式 性能 神经网络 还记得周志华教授等人的“深度森林”论文吗？今天，ArXiv上公布了深度森林系列最新的第三弹——可做表示学习的多层GBDT。 在这篇题为“Multi-Layered Gradient Boosting Decision Trees”的论文中，作者冯霁、俞扬和周志华提出了一种新颖的具有显式表示学习能力的多层GBDT森林（mGBDT），它可以与目标传播（target propagation）的变体进行共同训练。由于树集成（tree ensembles）的优异性能，这种方法在很多神经网络不适合的应用领域中具有巨大的潜力。这项工作还表明，一个不可微分的系统，也能够具有可微分系统的关键功能（多层表示学习）。 用决策树也能做多层分布式表示学习 深度神经网络的发展在近十年来在机器学习领域取得了显著的进展。通过构建层次结构或“深层”结构，模型能够在监督或非监督的环境中从原始数据中学习良好的表示，这被认为是成功的关键因素。成功的应用领域包括计算机视觉、语音识别、自然语言处理等等。 目前，几乎所有的深度神经网络都是利用随机梯度下降的反向传播作为训练过程中对训练更新参数的主力。的确，当模型由可微组件组成(例如，带有非线性激活函数的加权和)时

文章目录 过大或者过小的初始化 1. 所有的参数初始化为0或者相同的常数 2. 随机初始化 3. Batch Normalization 4. Xavier 限制 均匀分布 正态分布 5. MSRA 正态分布 均匀分布 总结及使用的概率公式 神经网络模型一般依靠随机梯度下降进行模型训练和参数更新，网络的最终性能与收敛得到的最优解直接相关，而收敛结果实际上又很大程度取决于网络参数的最开始的初始化。理想的网络参数初始化使模型训练事半功倍，相反，糟糕的初始化方案不仅会影响网络收敛，甚至会导致梯度弥散或爆炸。 参数初始化的理想状态是参数正负各半，期望为0。 过大或者过小的初始化 如果权值的初始值过大，则会导致梯度爆炸，使得网络不收敛；过小的权值初始值，则会导致梯度消失，会导致网络收敛缓慢或者收敛到局部极小值。 如果权值的初始值过大，则loss function相对于权值参数的梯度值很大，每次利用梯度下降更新参数的时，参数更新的幅度也会很大，这就导致loss function的值在其最小值附近震荡。 而过小的初值值则相反，loss关于权值参数的梯度很小，每次更新参数时，更新的幅度也很小，着就会导致loss的收敛很缓慢，或者在收敛到最小值前在某个局部的极小值收敛了。 1. 所有的参数初始化为0或者相同的常数 最简单的初始化方法就是将权值参数全部初始化为0或者一个常数

神经网络模型量化方法简介 https://chenrudan.github.io/blog/2018/10/02/networkquantization.html 2018-10-02 本文主要梳理了模型量化算法的一些文章，阐述了每篇文章主要的内核思想和量化过程，整理了一些对这些文章的分析和看法。 【转载请注明出处】 chenrudan.github.io 随着神经网络算法的发展，网络性能虽然越来越强大，但是也耗费了太多的计算资源和内存，为了得到更有效率的网络以及能部署在移动端，近几年神经网络的压缩算法成了一个研究热点，主要的网络压缩途径有五种，量化、剪枝、低秩分解、教师-学生网络、轻量化网络设计，量化就是将以往用32bit或者64bit表达的浮点数用1bit、2bit占用较少内存空间的形式进行存储。剪枝的目的是为了去掉一些不重要的神经元、连接、通道等，低秩分解主要是通过各种分解方法用精简的张量来表达复杂张量，教师-学生网络间接通过提升小网络性能来压缩学生网络的规模，一般可以与其他压缩方法同时使用，轻量化网络设计主要是类似MobileNet这种设计的非常精简但性能又好的网络。几种方法都各有特点，都是值得研究和讨论的，本文主要针对量化算法近几年的发展做一个梳理和归纳，我觉得量化算法有几个特点， 理论简单，公式少，性能稳定且trick多。 下图1

本文的出发点是一篇期刊论文，但集中探讨的是这篇文章中 不确定度估计的原理与过程 ，行文将与之前的文献报告不同。 原文 Bhattacharyya A , Fritz M , Schiele B . Long-Term On-Board Prediction of People in Traffic Scenes under Uncertainty[J]. 2017. 原文的一篇重要引用文献 Kendall A , Gal Y . What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?[J]. 2017. 关键词与基础概念 ： 车载视角、行人框预测、认知不确定性、偶然不确定性、采样、伯努利分布与dropout变分推断、蒙特卡洛积分、贝叶斯定理与贝叶斯推断、贝叶斯网络 近日在阅读“Long-Term On-Board Prediction of People in Traffic Scenes Under Uncertainty”，文章所提出的模型功能是基于车载移动视角对行人框位置做出预测，并能够同时评估两类不确定度（模型不确定度，数据不确定度）。 对神经网络的不确定度估计 涉及较多概率论的知识，而且从理论到应用的转化也涉及到使用近似量估计的问题，因此初次接触这部分知识该我带来了不小的挑战

声明 1）该文章整理自网上的大牛和机器学习专家无私奉献的资料，具体引用的资料请看参考文献。 2）本文仅供学术交流，非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益，还望海涵，并联系博主删除。 3）博主才疏学浅，文中如有不当之处，请各位指出，共同进步，谢谢。 4）此属于第一版本，若有错误，还需继续修正与增删。还望大家多多指点。大家都共享一点点，一起为祖国科研的推进添砖加瓦。 文章目录 声明 0、前言 1、深度学习到底需要什么能力？ 2、神经网络的基本概念 3、神经网络最简单的结构单元：感知机 4、感知机的编程实现（基于numpy） 1）激活函数 2）参数初始化 3）前向传播 4）反向传播 5）测试函数 6）封装函数（选看） 5、单隐层神经网络的编程实现（基于numpy） 1）构建网络 2）初始化参数 3）前向传播 4）计算损失 5）反向传播 6）权值更新 7）封装函数（选看） 参考文章 0、前言 为什么准备写这个系列呢？这个问题我思考了好久一阵子，主要是基于两个方面： 第一，希望自己能更加认真透彻地去理解深度学习这门艺术，为着自己的目标去努力； 第二，就是希望能分享更好更棒的东西给那些初学者，让他们少走一些坑。😃 前一阵子写了一个初学者必看的 大话卷积神经网络CNN（干货满满） ，反应还不错，算是有了 正反馈 ，除此之外还上了CSDN首页的今日推荐