神经网络

1.综述 1.1 论文链接 1、Batch Normalization https://arxiv.org/pdf/1502.03167.pdf 2、Layer Normalizaiton https://arxiv.org/pdf/1607.06450v1.pdf 3、Instance Normalization https://arxiv.org/pdf/1607.08022.pdf https://github.com/DmitryUlyanov/texture_nets 4、Group Normalization https://arxiv.org/pdf/1803.08494.pdf 5、Switchable Normalization https://arxiv.org/pdf/1806.10779.pdf https://github.com/switchablenorms/Switchable-Normalization 在入门深度学习时就深度学习中的一些概念做了一些介绍，但随着学习的不断深入，一些网络优化的技巧越来越多，才发现之前的理解的不够深入。在这里有对 BN的理解 ，对出现的几种归一化进行一些个人理解的介绍，首先看一个直观图 归一化层，目前主要有这几个方法，Batch Normalization（2015年）、Layer Normalization

Bengio 认为，未来的深度神经网络应当能够实现 System2（逻辑分析系统），实现的是有意识的、有逻辑的、有规划的、可推理以及可以语言表达的系统。本文所讨论的 Logical Reasoning（逻辑推理）拟实现的就是 System2 中重点关注的有逻辑的（Logical）和可推理的（Reasoning）特点。 机器之心分析师网络，作者：仵冀颖，编辑：Joni。 近年来，深度神经网络的应用获得了巨大的成功，也推动了人工智能的飞速发展。然而，深度神经网络仍存在一些局限性。一般来说，深度神经网络如何进行学习、使用何种算法实现的智能、基于哪些理论分析得出的相关结论并不会在网络架构中有任何的显式或符号表示。也就是说，深度神经网络学习的算法隐式地存储在成千上万甚至是数百万的权重中，这些通常是人类智能体无法破译或验证的。 Bengio 在 AAAI 2020 的演讲报告中提出， 人的认知系统包含两个子系统 ：System1（直觉系统），实现的是快速、无意识、非语言的认知，这也是现有的深度神经网络所实现的。他认为，未来的深度神经网络应当能够实现 System2（逻辑分析系统），实现的是有意识的、有逻辑的、有规划的、可推理以及可以语言表达的系统。我们这篇文章中所讨论的 Logical Reasoning（逻辑推理）拟实现的就是 System2 中重点关注的有逻辑的（Logical）和可推理的

　　机器之心报道 　　 机器之心编辑部 　　深度是实现 3D 场景理解的重要信息，快手 Y-tech 利用自研的单目深度估计技术获得了高质量的深度信息，并将模型部署到移动端，结合 Y-tech 已有的多项技术研发了 3DPhoto、混合现实等多种新玩法。这些黑科技玩法不限机型，可让用户在手机上无门槛的实时体验，给用户带来全新的视觉体验和交互方式的同时，可帮助用户更好的进行创作。 　　 　　这项研究主要探究了如何更好的利用三维空间的结构性信息提升单目深度估计精度，此外还针对复杂场景构建了一个新的深度数据集 HC Depth，包含六种挑战性场景，有针对性地提升模型的精度和泛化性。该论文已被 ECCV 2020 收录，论文代码和模型即将在 GitHub 上开源，作者也将在 8 月 23-28 日的 ECCV 大会线上展示他们的工作。 　　 　　论文链接：https://arxiv.org/abs/2007.11256 　　代码链接：https://github.com/ansj11/SANet 　　 单目深度估计的挑战 　　从 2D 图像恢复 3D 信息是计算机视觉的一个基础性问题，可以应用在视觉定位、场景理解和增强现实等领域。在无法通过深度传感器或者多视角获得有效的深度测量时，单目深度估计算法尤为重要。传统方法通常使用先验信息恢复图像的深度信息，例如纹理线索，物体尺寸和位置

一：决定下一步做什么 在懂机器学习的人当中依然存在着很大的差距，一部分人确实掌握了怎样高效有力地运用这些学习算法。而另一些人可能没有完全理解怎样运用这些算法。因此总是把时间浪费在毫无意义的尝试上。 应该是确保你在设计机器学习的系统时，你能够明白怎样选择一条最合适、最正确的道路。 因此，将介绍一些实用的建议和指导，帮助怎样进行选择。 具体来讲，重点关注的问题是假如你在开发一个机器学习系统，或者想试着改进一个机器学习系统的性能，你应如何决定接下来应该选择哪条道路？ 为了解释这一问题，我想仍然使用预测房价的学习例子，假如你已经完成了正则化线性回归，也就是最小化代价函数J 的值: 假如，在你得到你的学习参数以后，如果你要将你的假设函数放到一组新的房屋样本上进行测试，假如说你发现在预测房价时产生了巨大的误差，现在你的问题是要想改进这个算法，接下来应该怎么办？ 实际上你可以想出很多种方法来改进这个算法的性能： 1.其中一种办法是使用更多的训练样本。具体来讲，也许你能想到通过电话调查或上门调查来获取更多的不同的房屋出售数据。遗憾的是，我看到好多人花费了好多时间想收集更多的训练样本。他们总认为，要是我有两倍甚至十倍数量的训练数据，那就一定会解决问题的是吧？ 但有时候获得更多的训练数据实际上并没有作用。 在后面，将解释原因。 我们应该避免把过多的时间浪费在收集更多的训练数据上。 2. 另一个方法

论文传送门 作者 华盛顿大学 Kanit Wongsuphasawat 谷歌研究院 Daniel Smilkov James Wexler Jimbo Wilson Dandelion Mane Doug Fritz Dilip Krishnan Fernanda B. Viegas Martin Wattenberg 摘要 我们介绍了TensorFlow Graph Visualizer，它是 TensorFlow 机器智能平台的一部分。该工具通过可视化其基础的数据流图来帮助用户了解复杂的机器学习架构。该工具通过应用一系列图转换，使得标准布局技术能够生成清晰的交互式图表。至于整理图，我们将非关键节点与布局分离。为了提供概述，我们使用源代码中注释的层级结构。为了支持按需探索嵌套结构，我们执行边绑定以实现稳定且响应迅速的集群扩展。最后，我们检测并突出显示重复的结构，以强调模型的模块化组成。为了演示可视化工具的实用性，我们描述了示例使用场景并报告了用户反馈。总体而言，用户发现可视化工具对于理解、调试和共享其模型的结构很有用。 Design of the TensorFlow Graph Visualizer 力导引布局 日志节点会干扰不同子图的独立性 图布局缺乏层次结构 TensorFlow Graph Visualizer 去除日志节点 多个元操作组合成子算法或子步骤

上两个月参加了个比赛，做的是对遥感高清图像做语义分割，美其名曰“天空之眼”。这两周数据挖掘课期末project我们组选的课题也是遥感图像的语义分割，所以刚好又把前段时间做的成果重新整理和加强了一下，故写了这篇文章，记录一下用深度学习做遥感图像语义分割的完整流程以及一些好的思路和技巧。 数据集 首先介绍一下数据，我们这次采用的数据集是CCF大数据比赛提供的数据（2015年中国南方某城市的高清遥感图像），这是一个小数据集，里面包含了5张带标注的大尺寸RGB遥感图像（尺寸范围从3000×3000到6000×6000），里面一共标注了4类物体，植被（标记1）、建筑（标记2）、水体（标记3）、道路（标记4）以及其他(标记0)。其中，耕地、林地、草地均归为植被类，为了更好地观察标注情况，我们将其中三幅训练图片可视化如下：蓝色-水体，黄色-房屋，绿色-植被，棕色-马路。更多数据介绍可以参看 这里 。 现在说一说我们的数据处理的步骤。我们现在拥有的是5张大尺寸的遥感图像，我们不能直接把这些图像送入网络进行训练，因为内存承受不了而且他们的尺寸也各不相同。因此，我们首先将他们做随机切割，即随机生成x,y坐标，然后抠出该坐标下256*256的小图，并做以下数据增强操作： 原图和label图都需要旋转：90度，180度，270度 原图和label图都需要做沿y轴的镜像操作 原图做模糊操作

云栖号资讯：【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！ 【导读】脑科学作为人类科学的最后前沿已取得重大发展。但截至目前，我们仍对大脑的诸多奥秘一知半解。是否可以将我们的大脑比拟为一台超级计算机？脑机接口的未来将如何发展？ 人类的大脑是自然界最复杂的物体，研究人员已投入大量时间与精力来探索大脑。 目前，科学家们已经揭示了大脑的基本工作方式，最新技术已经可以操纵小鼠的大脑，让小鼠记忆此前从未嗅过的气味，甚至改变小鼠大脑里糟糕的记忆，转化为美好记忆；还可以利用脑电波改变人们对面部的感知；甚至让一个瘫痪的人用意念控制机械臂。 这些新技术带来了无限想象，可以让我们读懂人的心理、侦察罪犯，甚至将大脑与计算机互联。 但受限于大量无法分析的数据，探索大脑的未来道路并非坦途。正如德国神经学家奥拉夫・斯庞斯 (Olaf Sporns) 所言：“神经科学仍缺乏将大脑数据转化为基础知识的理论框架。” 神经科学家阿内・丘奇兰德 (Anne Churchland) 与拉里・艾勃特 (Larry Abbott) 也强调分析大量数据时困难重重，“除了需要实验技巧与创新技术，还需要大量先进的数据分析方法和理论概念模型。” 此外，大脑功能也非单一理论。正如 DNA 双螺旋结构的共同发现者弗朗西斯・克里克 (Francis Crick) 所发现的

作者 | 李秋键 出品 | AI科技大本营（rgznai100） 《坦克大战》是1985年日本南梦宫Namco游戏公司在任天堂FC平台上，推出的一款多方位平面射击游戏。游戏以坦克战斗及保卫基地为主题，属于策略型联机类。同时也是FC平台上少有的内建关卡编辑器的几个游戏之一，玩家可自己创建独特的关卡，并通过获取一些道具使坦克和基地得到强化。而今天我们就将利用python还原以下坦克大战的制作。 实验前的准备 首先我们使用的Python版本是3.6.5所用到的模块如下： Pygame模块用来创建游戏整体框架、精灵等基本架构； OS模块用来加载本地文件（包括音乐，背景、图片等素材）。 精灵类程序 其中精灵类设置作为基本程序框架用来主函数的调用，其中包括子弹类程序、食物类、家类、砖墙树木等障碍物类、坦克类。具体程序布局如下： 其中子弹类程序，首先需要建立bullet.py程序，建立类包括子弹位置、方向、图片加载、子弹速度等基本信息。具体代码如下： '''子弹''' class Bullet(pygame.sprite.Sprite): def __init__(self, bullet_image_paths, screensize, direction, position, border_len, is_stronger=False, speed=8, **kwargs): pygame

来源：清华大学人工智能研究院 作者：张钹、朱军、苏航 在这篇评述文章中，清华大学人工智能研究院院长、中国科学院院士张钹教授阐述了自己对于「第三代人工智能」的看法。他认为，第三代 AI 发展的思路是把第一代的知识驱动和第二代的数据驱动结合起来，通过利用知识、数据、算法和算力等 4 个要素，构造更强大的 AI，目前存在双空间模型与单一空间模型两个方案。本文对这篇评述进行了全文刊载。 全文链接：http://scis.scichina.com/cn/2020/SSI-2020-0204.pdf 人工智能（ArtificialIntelligence，简称 AI）在 60 多年的发展历史中，一直存在两个相互竞争的范式，即符号主义与连接主义（或称亚符号主义）。符号主义（即第一代人工智能）到上个世纪八十年代之前一直主导着 AI 的发展，而连接主义（即第二代人工智能）从上个世纪九十年代逐步发展，到本世纪初进入高潮，大有替代符号主义之势。但是今天看来，这两种范式只是从不同的侧面模拟人类的心智 （或大脑），具有各自的片面性，不可能触及人类真正的智能。 清华大学人工智能研究院院长、中国科学院院士张钹教授在「纪念《中国科学》创刊 70 周年专刊」上发表署名文章，首次全面阐述第三代人工智能的理念，提出第三代人工智能的发展路径是融合第一代的知识驱动和第二代的数据驱动的人工智能， 同时利用知识、数据

云栖号资讯：【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！ 如今，人工智能（AI）在生活中的应用场景可谓百变多样。从医学诊断、图像识别、无人驾驶到个人助理、教育辅助，AI 的对现代生活的重要性不言而喻。然而，除了以上场景，AI 还可以应用于安全防护方面。 这不，眼看着炎炎夏日来临，人们纷纷涌向游泳馆、海滩等消暑胜地，渴望在灼热温度中寻求一丝“透心凉”的快感。但人生就是这样，你永远不知道明天和意外哪一个先来。尤其在热浪滚滚的夏日，游泳溺亡的意外事故层出不穷。 根据世界卫生组织（WHO）的数据，溺水是造成全球人口意外死亡的第三大原因，全球每年估计有 320,000 人因溺水而死亡。但现在，有了 AI 的帮助，溺水事故率很可能得到大幅降低。 近日，以色列内盖夫本古里安大学（BGU）的衍生企业 Sightbit，就针对频发的溺水事故，开发出一套 AI 溺水防护系统，该系统可以实时监测所有游泳者，并标记出潜在的危险情况，以弥补救生员肉眼观察的不足。 AI 海滩监控 Sightbit 的系统包含多组摄像头，这些摄像头并非普通相机，而是加持了基于深度学习和计算机视觉技术的软件。增强后的多组摄像头更加灵敏，能够清晰地显示出摄像范围内的所有物体。 而且，这种摄像机的摄像范围也大大提高，单个摄像机可以伸展到大约 1000 英尺（300 米）的海岸线。要知道