神经网络算法

学习机器学习必须具备一定的研究基础，应该仔细学习《模式识别与机器学习》，详略难易得当。由于内容选取的少而精，所以作者可以深入浅出的介绍每一种模型，不会因为太过简略而使读者疑惑，同时对于高阶的内容又点到为止，使得整本书的难度保持在了一个对于初学者可以接受的范围内。基本上，当年看这本书时，就是把它当成一个个的tutorial来看。比如在学EM算法的时候，主要就是以这本书的内容为主，配合网上其他资源学习。这一点在学习Graphical model的时候更加明显。众所周知这个领域比较经典的著作是Probabilistic GraphicalModels以及Bayesian Reasoning and Machine Learning，但是这是两本大部头的书，一开始读起来会比较吃力。而本书的作者Bishop本身就是搞Bayesian learning以及graphical model的，PRML这边书用几章的内容就把这个领域最核心的概念以及方法解释了一遍，不得不让人佩服作者的功力。 《模式识别与机器学习》内容选取得当。书中所介绍的所有模型以及算法，放到今天，依然是理解学习ML最最基本的组成部分，这些内容，对于读者了解更高级的算法，几乎都是必不可少的。这本书并没有试图涵盖当时所有的机器学习算法，而是精选了ML里面最本质最fundamental的方法，由此可以看出

卷积网络，这是一个风头正劲的算法，占据人工智能的半壁江山，即使不是学习人工智能的人，也应该听说过这个词。卷积网络代表的是一种传统计算思维方式的转换，由逻辑规则的思维方式，切换到模拟人脑神经连接的思维方式，因此，即使你不搞人工智能，也应该学习下卷积网络的思想。 在这场 Chat 中，我想讲一些普通人也听得清楚的卷积网络思想，然后再探讨卷积网络的一些设计细节，具体内容如下： 什么是神经网络，和大脑有什么联系（卷积网络思想） 为什么神经网络可以训练 神经网络计算公式的数学解释 神经网络的正向 & 反向传播数学推导（不要怕，你看得懂） 使用 Mxnet 实现简单的神经网络 几个思想观念（模型训练七步法、广播思想、Block 堆叠思想、维度思想等） 认识神经网络的缺点，引入卷积网络（两个思维：往哪看？看什么？） 神奇的特征提取组合机器（形状、概念抓取） 卷积网络的基础算子（卷积、池化，池化为何有效？） 卷积网络的优秀基因（局部连接、空间共享、平移不变性、尺寸不变性） 1 * 1 卷积核到底有什么用 卷积网络的设计思路有哪些 通过代码吃透 GoogLeNet、ResNet 阅读全文: http://gitbook.cn/gitchat/activity/5d4d25b79b65cd41470c49ca 您还可以下载 CSDN 旗下精品原创内容社区 GitChat App ，阅读更多

机器学习是计算机科学与人工智能的重要分支领域，认真看了周志华编写的机器学习入门教材《机器学习》，在内容上尽可能涵盖机器学习基础知识的各方面。 为了使尽可能对机器学习有所了解, 试图尽可能少地使用数学知识. 然而, 少量的概率、统计、代数、优化、逻辑知识似乎不可避免。认真看了前面9章，基本上对算法原理，优点缺点，适用条件讲得非常清楚，详略得当。 书中除第1章外, 每章都给出了十道习题. 有的习题是帮助读者巩固本章学习, 有的是为了引导读者扩展相关知识. 一学期的一般课程可使用这些习题, 再辅以两到三个针对具体数据集的大作业. 带星号的习题则有相当难度, 有些并无现成答案, 谨供富有进取心的读者启发思考. 《机器学习》PDF，周志华著，443页，带书签目录，文字可复制；配套机器学习笔记；配套《机器学习》课件；配套《机器学习》习题部分解答及代码。 下载: https://pan.baidu.com/s/1hy7iL8oO3Z0CSG36dOfZqg 提取码: y36q 《机器学习》共16 章，大致分为3 个部分：第1 部分（第1～3 章）介绍机器学习的基础知识；第2 部分（第4～10 章）讨论一些经典而常用的机器学习方法（决策树、神经网络、支持向量机、贝叶斯分类器、集成学习、聚类、降维与度量学习）；第3 部分（第11～16 章）为进阶知识，内容涉及特征选择与稀疏学习、计算学习理论

感知器： 一个感知器有如下组成部分： 输入权值 ——一个感知器可以接收多个输入（x1,x2,…xn），每个输入上有一个权值wi，此外还有一个偏置项b，就是上图中的w0。 激活函数 ——感知器的激活函数可以有很多选择 输出 ——感知器的输出由某个公式来计算 事实上，感知器不仅仅能实现简单的布尔运算。它可以拟合任何的线性函数，任何线性分类或线性回归问题都可以用感知器来解决。前面的布尔运算可以看作是二分类问题，即给定一个输入，输出0（属于分类0）或1（属于分类1）。然而，感知器却不能实现异或运算。 感知器的训练 训练感知器对于多层感知器的监督式训练最常见的深度学习算法是反向传播。基本的过程是 ： 　　1、将训练样本通过神经网络进行前向传播计算。 　　2、计算输出误差，通常用均方差： 　　其中 t 是目标值，y是实际的神经网络输出。其它的误差计算方法也可以，但MSE（均方差）通常是一种比较好的选择。 　　3.网络误差通过随机梯度下降法来最小化。 前面的权重项和偏置项的值是如何获得的呢？ 这就要用到感知器训练算法：将权重项和偏置项初始化为0，然后，利用下面的感知器规则迭代的修改wi和b，直到训练完成。 其中： wi是与输入xi对应的权重项，b是偏置项。事实上，可以把b看作是值永远为1的输入xb所对应的权重。t是训练样本的实际值，一般称之为label。而y是感知器的输出值，它是根据公式(1

CNN正在革新几个应用领域，如视觉识别系统、自动驾驶汽车、医学发现、创新电子商务等。需要在专业项目或个人方案中利用复杂的图像和视频数据集来实现先进、有效和高效的CNN模型。 深度卷积网络DCNN是目前十分流行的深度神经网络架构，它的构造清晰直观，效果引人入胜，在图像、视频、语音、语言领域都有广泛应用。 深度学习，特别是深度卷积神经网络是人工智能的重要分支领域，卷积神经网络技术也被广泛应用于各种现实场景，在许多问题上都取得了超越人类智能的结果。 《卷积神经网络的Python实现》作为深度学习领域的入门读物，假定读者的机器学习知识为零，并尽可能少地使用数学知识，从机器学习的概念讲起，以卷积神经网络的最新发展结束。首先简单介绍了机器学习的基本概念，详细讲解了线性模型、神经网络和卷积神经网络模型，然后介绍了基于梯度下降法的优化方法和梯度反向传播算法，接着介绍了训练网络前的准备工作、神经网络及卷积神经网络实战和卷积神经网络的发展。针对每个关键知识点，给出了基于 NumPy 的代码实现以及完整的神经网络和卷积神经网络代码实现，方便读者训练网络和查阅代码。既可以作为卷积神经网络的教材，也可以供对卷积神经网络感兴趣的工程技术人员和科研人员参考。 卷积神经网络是深度学习最重要的模型之一。 《卷积神经网络的Python实现》PDF，232页，带书签目录，文字可以复制；配套源代码。作者: 单建华

由于深度学习在可推理和可解释性方面存在比较大的局限性，结合了图计算和深度学习的图神经网络（GNNs）成为近期学术界和工业界研究热度颇高的新方向之一。业界普遍认为，GNN 恰好可以弥补前面提到的深度学习无法解决的两个缺陷。近一年 GNN 在越来越多应用场景上取得了成功，但它也仍面临着许多挑战。 蚂蚁金服在今年的数据挖掘研究领域顶级年会 KDD 2019 上召开了以“图神经网络研究及实际应用”为主题的研讨会。InfoQ记者有幸采访到了蚂蚁金服人工智能部研究员宋乐，聊聊深度学习和 GNN 在大型工业级场景的应用和实践、目前面临的难点挑战，以及未来技术前进的可能方向。 宋乐老师在 KDD 2019 GNN已成“AI新贵” 除了传统的深度学习方法，图神经网络（GNN）在近两年也是公认的“AI 新贵”。由于图结构的强大表现力，用机器学习 / 深度学习方法分析图的研究越来越受重视。而图神经网络（GNN）由于较好的性能和可解释性，已经成为一种广泛应用的图分析方法，更有不少人将它看作“深度学习的新一代技术”。近一年来，学界和工业界陆续推出了 GNN 的相关框架和工具，进一步促进了这一领域的蓬勃发展。 GNN 提供了图表征学习（Graph representation learning）或图嵌入技术（Graph embedding）的框架，可以用于各种图数据上的监督，半监督及强化学习

2017 年初，Facebook 在机器学习和科学计算工具 Torch 的基础上，针对 Python 语言发布了一个全新的机器学习工具包 PyTorch。 因其在灵活性、易用性、速度方面的优秀表现，经过2年多的发展，目前 PyTorch 已经成为从业者最重要的研发工具之一。 现在为大家奉上出 60 分钟极速入门 PyTorch 的小教程，助你轻松上手 PyTorch！大家也可直接在实验楼学习： PyTorch 深度学习基础课程 。 PyTorch 基础 PyTorch 使用一种称之为 imperative / eager 的范式，即每一行代码都要求构建一个图，以定义完整计算图的一个部分。即使完整的计算图还没有构建好，我们也可以独立地执行这些作为组件的小计算图，这种动态计算图被称为「define-by-run」方法。 PyTorch 具有两个比较基础的库，所有基础操作都需要提前引入。下面我们引入基础库。 import torch import torchvision PyTorch 张量 PyTorch 的基本数据单元是张量（Tensor），它实际上是一种 N 维数组。 创建 创建一个未初始化 5X3 的矩阵： x = torch.empty(5, 3) 创建一个随机初始化都矩阵： x = torch.rand(5, 3) 创建一个 0 填充的矩阵，指定数据类型为 long： x =

近年来，深度学习体系结构由于在计算机视觉等应用中的极大成功而开始流行起来。特别是卷积神经网络(CNN)已经成为深度学习中最重要的一种网络结构。学习计算机视觉中的深度学习、设计和部署CNN，以及深度计算机视觉体系结构的基础知识。 从零基础开始，系统阐述卷积神经网络理论基础及其实践应用，可以帮助快速学习和构建深度学习系统。提供了丰富的理论知识和实操案例，以及一系列完备的工具包，以帮助获得在理解和构建卷积神经网络（CNN）时所必要的基本信息。重点将集中在卷积神经网络的基础部分，而不会涉及在高级课程中才出现的一些概念（CNN相关话题）。 推荐参考《卷积神经网络与视觉计算》中文PDF，174页，带目录，文字可复制；英文PDF，187页，带目录，文字可复制。 下载: https://pan.baidu.com/s/1OeT4YJdcWQYxHJxwG6Idmg 提取码: 6tar 分为5章，介绍了图像表示和一些计算机视觉模型，这些模型现在被称为人工方式建模。提供了对图像表示的基本理解，并介绍了一些线性和非线性的特征提取或表示方法，以及这些表示的特性。介绍了一些基本图像元素(如边缘)的检测方法，还包括用这些表示来完成一些基本的机器学习任务。 CNN正在革新几个应用领域，如视觉识别系统、自动驾驶汽车、医学发现、创新电子商务等。需要在专业项目或个人方案中利用复杂的图像和视频数据集来实现先进

深度学习小记 0 前言 近段时间，由于工作需要，一直在看深度学习的各种框架，主要是Caffe和Tensorflow。并且在可预见的未来，还会看更多不同的深度学习框架。最开始我是以软件工程师的角度去阅读这些框架的，说实话，Caffe的代码框架逻辑清晰相对好理解一点，而TensorFlow就比较麻烦了，里面内容太多，函数调用链非常长，且使用了大量的C++11语法，这对于C++功底不好的我来说无疑是重大打击...因此，我必须跳出软件工程师的思维，以算法工程师的视角来审视这些框架。考虑到它们都是为深度学习服务的，因此我转而去思考深度学习的本质，希冀能够触类旁通。 鉴于深度学习与神经网络的关系类似于漂移与汽车的关系。深度学习可以理解成用(深度)神经网络来进行机器学习，漂移可以理解成用汽车来做一些风骚的走位操作。因此，我的思考重点又聚焦到神经网络身上。网上对神经网络的解释非常多，但一般都是直接扔给你一大堆陌生的名称以及一堆看起来就很烦的公式，配合上他们说教的语气，给人的感觉就是：你看，神经网络就这么简单，你现在一脸懵逼觉得复杂是因为你没我厉害，跟着我学几年也许你就会了。 不可否认，这些专有名词和公式非常重要，但是我们也必须知道所有的名词和公式都是数学家为了方便运算/记录，而对某些概念或者规则进行的抽象处理，因此我们应该先理解这些名词或公式背后的概念或规则，然后再来反推这些公式

RBF神经网络 RBF神经网络通常只有三层，即输入层、中间层和输出层。其中中间层主要计算输入x和样本矢量c（记忆样本）之间的欧式距离的Radial Basis Function (RBF)的值，输出层对其做一个线性的组合。 径向基函数： RBF神经网络的训练可以分为两个阶段： 第一阶段为无监督学习，从样本数据中选择记忆样本/中心点；可以使用聚类算法，也可以选择随机给定的方式。 第二阶段为监督学习，主要计算样本经过RBF转换后，和输出之间的关系/权重；可以使用BP算法计算、也可以使用简单的数学公式计算。 1. 随机初始化中心点 2. 计算RBF中的激活函数值，每个中心点到样本的距离 3. 计算权重，原函数：Y=GW 4. W = G^-1Y RBF网络能够 逼近任意非线性的函数 (因为使用的是一个局部的激活函数。在中心点附 近有最大的反应；越接近中心点则反应最大，远离反应成指数递减；就相当于每个神 经元都对应不同的感知域)。 可以处理系统内难以解析的规律性，具有很好的泛化能力，并且具有较快的学习速度。 有很快的学习收敛速度，已成功应用于 非线性函数逼近、时间序列分析、数据分类、 模式识别、信息处理、图像处理、系统建模、控制和故障诊断 等。 当网络的一个或多个可调参数（权值或阈值）对任何一个输出都有影响时，这样的网 络称为 全局逼近网络 。由于对于每次输入，网络上的每一个权值都要调整