神经网络

本文属于图神经网络的系列文章，文章目录如下： 从图(Graph)到图卷积(Graph Convolution)：漫谈图神经网络模型 (一) 从图(Graph)到图卷积(Graph Convolution)：漫谈图神经网络模型 (二) 从图(Graph)到图卷积(Graph Convolution)：漫谈图神经网络模型 (三) 恭喜你看到了本系列的第三篇！前面两篇博客分别介绍了基于循环的图神经网络和基于卷积的图神经网络，那么在本篇中，我们则主要关注在 得到了各个结点的表示后，如何生成整个图的表示 。其实之前我们也举了一些例子，比如最朴素的方法，例如图上所有结点的表示取个均值，即可得到图的表示。那有没有更好的方法呢，它们各自的优点和缺点又是什么呢，本篇主要对上面这两个问题做一点探讨。篇幅不多，理论也不艰深，请读者放心地看。 图读出操作(ReadOut) 图读出操作，顾名思义，就是用来生成图表示的。它的别名有图粗化( 翻译捉急 ，Graph Coarsening)/图池化(Graph Pooling)。对于这种操作而言，它的核心要义在于： 操作本身要对结点顺序不敏感 。 这是为什么呢？这就不得不提到图本身的一些性质了。我们都知道，在欧氏空间中，如果一张图片旋转了，那么形成的新图片 就不再是原来那张图片 了；但在非欧式空间的图上，如果一个图旋转一下，例如对它的结点重新编号

恭喜你看到了本系列的第三篇！前面两篇分别介绍了基于循环的图神经网络和基于卷积的图神经网络，那么在本篇中，我们则主要关注在 得到了各个结点的表示后，如何生成整个图的表示 。其实之前我们也举了一些例子，比如最朴素的方法，例如图上所有结点的表示取个均值，即可得到图的表示。那有没有更好的方法呢，它们各自的优点和缺点又是什么呢，本篇主要对上面这两个问题做一点探讨。篇幅不多，理论也不艰深，请读者放心地看。 >>>> 从图(Graph)到图卷积(Graph Convolution)：漫谈图 神经⽹络模型 (⼀) 从图(Graph)到图卷积(Graph Convolution)：漫谈图神经网络 (二) 图读出操作(ReadOut) 图读出操作，顾名思义，就是用来生成图表示的。它的别名有图粗化( 翻译捉急 ，Graph Coarsening)/图池化(Graph Pooling)。对于这种操作而言，它的核心要义在于： 操作本身要对结点顺序不敏感 。 这是为什么呢？这就不得不提到图本身的一些性质了。我们都知道，在欧氏空间中，如果一张图片旋转了，那么形成的新图片 就不再是原来那张图片 了；但在非欧式空间的图上，如果一个图旋转一下，例如对它的结点重新编号，这样形成的图与原先的图其实是一个。这就是典型的**图重构(Graph Isomorphism)**问题。比如下面左右两个图，其实是等价的： 图重构

基于CNN的人脸识别（上） 代码下载 一、 CNN概述 1.1 CNN发展历程 1.2 CNN基本结构 二、 CNN算法原理 2.1 CNN基本网络结构 2.1.1输入层 2.1.2卷积层 2.1.3池化层 2.1.4全连接层 2.1.5 激励层 具体代码实现可参看 Keras深度学习应用1——基于卷积神经网络(CNN)的人脸识别（下） 代码下载 Github源码下载地址： https://github.com/Kyrie-leon/CNN-FaceRec-keras 一、 CNN概述 1.1 CNN发展历程 卷积神经网络由生物学自然视觉认知机制启发而来。1962年，诺贝尔奖得主D.H.Hubel和T.N.Wiesel，这两位学者通过对猫脑部皮层中特定的神经元进行研究时，发现了其独特的网络结构。根据这个启发有学者提出了新识别机（recognition）的概念，这也是深度学习中第一个在真正意义上实现的卷积神经网络。自此以后，科学家们开始对CNN进行了深入的研究和改进。 卷积神经网络是属于前馈神经网络下多层神经网络的一种深度机器学习方法，如下图所示，可以看出神经网络的大致分布。 图1-1 神经网络分布图 与传统的图像处理算法相比，CNN的优点为它能够有效避免在前期准备中，需要对图像进行大量的、繁琐的人工提取特征工作。这也说明，CNN能够直接从图像原始像素出发，只需通过一些预处理过程

作者：Kabalan Gaspard 翻译：王紫岳 校对：陈汉青 本文约 4000字 ，建议阅读 10+分钟 。 本文为大家介绍了作者使用不同的算法来解决Free Flow谜题游戏的心路历程，从一开始的A*，Q-learning，到最后的卷积神经网络，作者详细的介绍了在使用这些算法时遇到的困难和得到的启示。 深度学习比古老的蛮力技术更适合解决FlowFree问题吗? 我们都有过这种经历。你拿着手机发呆，想要消磨一些时间，于是你决定放弃自己优秀的思考，打开应用商店的游戏区，看看游戏排行榜。你找到了一个看起来很有趣的谜题游戏，但其实游戏是否有趣并不重要，因为你只想玩半个小时，然后就删掉、忘记它，对么？ 2个月以后，我完成了两千多关的Flow Free①游戏，并且坚持每一关都得到“完美”评分。这一游戏（自2012年发行以来，这款游戏在iOS和Android平台上都是最受欢迎的游戏之一）的设定相当简单：将不同颜色的阀门分别连起来，并且不能有线相交。 FreeFlow——你可以通过这个截图来了解游戏 截图中的关卡可能看起来很简单，但是它的难度确实在不断提升。随着关卡的进行，我发现我自己想出了一些可以帮助我更快完成这些高级关卡的策略（例如：尽可能的保留外层边界空白，避免在未填满的方形中创建“港湾”等）。浏览网上论坛时，我看到其他的玩家都有他们自己的技巧，有的和我的一样，有的则略微不同

　　 编辑：魔王、泽南 　　 这种新型智能系统模仿线虫的神经系统来高效处理信息，比目前具有数百万参数的神经网络架构更加稳健、更易解释且训练速度更快。目前，该研究刊登在《自然-机器智能》子刊。 　　 　　将生物启发神经网络用于自动驾驶汽车。 　　 深度神经网络和其他方法 　　众所周知，当数据量足够多时，深度监督模型会被训练得很好，但目前的深度学习仍存在泛化性能不好和训练效率不高的问题，研究人员一直在寻求构建智能模型的新方法。当前人们探求的方向总是更深的网络，但这意味着更高的算力消耗。因此正如人们所思考的那样，必须寻找一种需要更少数据或更少神经网络层的方法，让机器实现智能化。 　　自动驾驶汽车是当前机器学习研究者和工程师们正在探索的最复杂任务之一。它覆盖很多方面，而且要求必须高度稳定，只有这样我们才能保证自动驾驶汽车在道路上安全运行。通常，自动驾驶算法的训练需要大量真实人类驾车的训练数据，我们试图让深度神经网络理解这些数据，并复现人类遇到这些情况时的反应。 　　 　　自动驾驶算法的端到端表示。 　　 脑启发的智能系统 　　最近，来自奥地利科技学院（IST Austria）、维也纳工业大学（TU Wien）和麻省理工学院（MIT）的研究者成功训练了一种全新的人工智能系统来控制自动驾驶汽车。 　　该方法受线虫等小型动物大脑的启发，仅用数十个神经元即可控制自动驾驶汽车，而常规深度神经网络方法

点击上面"脑机接口社区"关注我们 更多技术干货第一时间送达 来源：探臻科技评论 人工智能作为21世纪最具有影响力的技术，正在包括诸如机器人、语言识别、图像识别、自然语言处理等诸多领域发挥着重要作用。脑科学被誉为“人类科学最后的前沿”，认识脑的奥秘是对人类的终极挑战。而更重要的是，脑科学的发展将推动人工智能科学从感知人工智能到认知人工智能的跨越。 4月28日晚，戴琼海院士做客第一期“探臻论坛”，以线上方式为大家带来了一场题为“搭建脑科学与人工智能的桥梁”的精彩讲座。 嘉宾介绍 戴琼海，中国工程院院士，中国人工智能学会理事长，清华大学自动化系教授，清华大学生命科学学院兼职教授，清华大学脑与认知科学研究院院长。国家自然科学基金委杰出青年基金获得者，长江特聘教授。主持多项国家基金和国家科技攻关项目。曾获国家技术发明一等奖和二等奖各一项，国家科技进步二等奖一项。 目前正在承担国家重大仪器项目：多维多尺度计算摄像仪器，旨在提供从亚细胞、组织到器官的多尺度动态观测数据，揭示神经系统结构和功能等脑科学规律，为创建新一代人工智能提供支撑。 核心内容 1、科研从失败做起 科研的实际过程是充满失败的，一系列在无数次失败后才成功的故事，启示我们失败通往成功的道路是螺旋式的，面对失败要保持恒心毅力，不断总结从失败中吸取经验。 2、什么是认知科学？ 认知科学是一门对心智及其过程进行多学科研究的科学。

APoT 本文是电子科大&哈佛大学&新加坡国立联合发表在 ICLR2020 上的一篇非均匀量化（APoT）的工作。本文，在非均匀量化中通过采用Additive Powers-of-Two（APoT）加法二次幂量化，综合考虑了计算上有效性，低比特量化导致的模型精度下降问题。并实现了不错的量化效果！ 论文题目：Additive Powers-of-Two Quantization: A Non-uniform Discretization for Neural Networks 论文链接：https://arxiv.org/pdf/1909.13144v2.pdf 论文代码：https://github.com/yhhhli/APoT_Quantization 摘要 本文首先提出了 Additive Powers-of-Two（APoT）加法二次幂量化 ，一种针对 钟形和长尾分布 的神经网络权重，有效的 非均匀性量化 方案。 通过将所有量化数值限制为几个二次幂相加，这APoT量化有利于提高计算效率，并与权重分布良好匹配 。其次，本文通过 参数化Clipping函数以生成更好的更新最佳饱和阈值的梯度 。最后，提出对 权重归一化来调整权重的输入分布，使其在量化后更加稳定和一致 。实验结果表明，本文提出的方法优于最先进的方法，甚至可以与全精度模型竞争，因此证明了本文提出的APoT量化的有效性

1 自然语言处理三大特征抽取器（CNN/RNN/TF）比较 白衣骑士Transformer：盖世英雄站上舞台 华山论剑：三大特征抽取器比较 　　 综合排名情况 以上介绍内容是从几个不同角度来对RNN／CNN/Transformer进行对比，综合这几个方面的实验数据，我自己得出的结论是这样的： 单从任务综合效果方面来说，Transformer明显优于CNN，CNN略微优于RNN。速度方面Transformer和CNN明显占优，RNN在这方面劣势非常明显。这两者再综合起来，如果我给的排序结果是Transformer>CNN>RNN ，估计没有什么问题吧？那位吃亏…..爱挑刺的同学，你说呢？ 从速度和效果折衷的角度看，对于工业界实用化应用，我的感觉在特征抽取器选择方面配置Transformer base是个较好的选择。 三者的合流：向Transformer靠拢 　　 2 从Word Embedding 到bert模型(上下文预训练)-自然语言处理中的预训练技术发展史 A: NNLM B: Word2Vec CBOW (完形填空) C : ELMO ELMO本身是个根据当前上下文对Word Embedding动态调整的思路。 从W2V 到ELMO:基于上下文的embedding D： GPT 从W2V 到 GPT： Pretain + Finetune两阶段过程 　　 　　　　　　　　　　

今日，谷歌AlphaGo首战赢得了围棋冠军李世石，绝对是占领了各大媒体的头条，引来的热评，简直是铺天盖地，相信无论是输赢都会带来人工智能的推广和普及。 谷歌董事会执行主席埃里克·施密特说：“这次对决无论哪方笑到最后，终究都是人类的胜利，人类的智慧又向前迈出一步，我们的世界将更加美好。” 国内很多科技大佬，网络名人也都对此事发表了评论，李开复认为阿尔法这次不会赢李世石，但总有一天会胜利，如王小川表示阿尔法会大胜李世石，老罗曾经评价过人工智能的一句话：“人工智能就像一列火车，它临近时你听到了轰隆隆的声音，你在不断期待着它的到来。他终于到了，一闪而过，随后便远远地把你抛在身后”。 小猿相信这也会使人工智能领域更加的热门，背后的人工智能算法，神经网络深度学习，相信也会在未来应用到人们的生活中，开发出更高的逼格更高的科技产品来改变人们的生活。 近年来越来越多的科技巨头投入巨资研究人工智能，相信BAT都看到了人工智能后的商业价值，小猿也希望人工智能更多的应用到工业控制领域，造福人类，促进工业进步，正好在大学小猿也接受过一点人工智能的课程学习，相信这次的大战也会促进高校学生尤其是控制工程人工智能专业的学生更加喜欢自己的专业，这背后的算法还是很值得我们研究研究。 那么各位猿友你们怎么看？ 本文分享自微信公众号 - 嵌入式程序猿（InterruptISR）。 如有侵权，请联系 support

相信任何一个搞机器学习、深度学习的人都应该听说过一本经典教材：《Pattern Recognition and Machine Learning》，中文译名《模式识别与机器学习》，简称 PRML。出自微软剑桥研究院实验室主任 Christopher Bishop 大神之手。对，就是豆瓣评分 9.5 的这本书。 毫不夸张地说，PRML 当之无愧算得上是 AI 领域的圣经了。PRML 涵盖面广，语言通俗，例子和习题更加详细，附带更多基础性的讲解和指引，难度梯度设置更为合理，是其深受广大中老年 PHD 朋友喜爱的原因。 许多领域的学生和研究者都可以用到它，包括机器学习，统计学，计算机科学，信号处理，计算机视觉，数据挖掘和生物信息学等。 PRML 内容十分丰富，共有 14 章的内容，每一章都是干货满满。整体目录如下： 第一章 介绍 第二章 概率分布 第三章 线性回归模型 第四章 线性分类模型 第五章 神经网络 第六章 内核方法 第七章 稀疏内核机器 第八章 图形模型 第九章 混合模型和EM 第十章 近似推断 第十一章 采样方法 第十二章 连续潜在变量 第十三章 顺序数据 第十四章 组合模型 这本书虽然很经典很干货，但是书籍总页数达 700 多页,而且全书都是英文。相信很多人在啃这本书的时候有遇到了很多困难！ 重点来了！ 就在刚刚，PRML 被微软“开源”了。 这本书的官网为： https: