神经网络

论文传送门 视频 作者 浙江大学： Zikun Deng Di Weng Jiahui Chen Ren Liu Zhibin Wang Yingcai Wu 京东智慧城市研究院 Jie Bao Yu Zheng 摘要 空气污染已经成为世界上许多城市的一个严重的公共健康问题。为了找出空气污染的原因，必须在大的空间尺度上研究空气污染物的传播过程。然而，复杂和动态的风场导致污染物输送的高度不确定性。如果没有领域知识的整合，最先进的数据挖掘方法不能完全支持跨多个地区的这种不确定时空传播过程的广泛分析。这些自动化方法的局限性促使我们设计和开发 AirVis，这是一种新颖的可视分析系统，它可以帮助领域专家基于图形可视化有效地捕捉和解释空气污染的不确定传播模式。设计这样的系统提出了三个挑战:a)传播模式的提取；b)模式表示的可伸缩性；和 c)传播过程的分析。为了应对这些挑战，我们开发了一个新的模式挖掘框架来模拟污染物迁移，并从大规模大气数据中有效地提取频繁传播模式。此外，我们基于最小描述长度原则对提取的模式进行分层组织，并允许专家用户基于模式拓扑有效地探索和分析这些模式。我们通过使用真实数据集和领域专家的积极反馈进行的两个案例研究证明了我们方法的有效性。 Introduction 空气污染成为一个严重的公共问题 来源： Vehicle emission Incineration Factory

梯度消失问题和梯度爆炸问题，总的来说可以称为 梯度不稳定问题 。 【要背住的知识】：用ReLU代替Sigmoid，用BN层，用残差结构解决梯度消失问题。梯度爆炸问题的话，可以用正则化来限制。sigmoid的导数是【0，0.25】. 出现原因 两者出现原因都是因为 链式法则 。当模型的层数过多的时候，计算梯度的时候就会出现非常多的乘积项。用下面这个例子来理解： 这是每层只有1个神经元的例子，每个神经元的激活函数都是sigmoid，然后我们想要更新b1这个参数。 按照大家都公认的符号来表示： \(w_1\*x_1 + b_1 = z_1\) 这就是z的含义； \(\sigma(z_1)=a_1\) ,这是a的含义。 可以得到这个偏导数： \(\frac{\partial C}{\partial b_1} = \frac{\partial z_1}{\partial b_1}\frac{\partial a_1}{\partial z_1} \frac{\partial z_2}{\partial a_2}\frac{\partial a_2}{\partial z_2} \frac{\partial z_2}{\partial a_3}\frac{\partial a_3}{\partial z_3} \frac{\partial z_3}{\partial a_4}\frac{

推荐理由 这本书用非常简单精妙的思想讲述了深度学习的基本原理。我感觉这本书告诉了我一个很重要的道理，如果你读了很多书都没有把一个概念读懂，那可能真的不一定是你的问题，还有可能是书的问题。一个好的老师，就应该把班里最笨的学生教会（如果他愿意学的话）。我想这本书，可以在我的顶级程序员书单系列排名第3-5位，非常值得一读。 我的部分笔记 深度学习经验 1.更深入地理解深度学习，最好的办法就是亲自实现。 2.光看数学公式和理论说明无法理解的情况下，可以尝试阅读源代码并运行。 Pyhon基本入门 import numpy as np import matplotlib.pyplot as plt if name == ‘ main ’: print(“Hello world”) print(1 + 2) print(type(10)) a = [1, 2, 3, 4, 5] print(a) print(a[0:2]) me = {‘height’ : 180} me[‘weight’] = 70 print(me[‘height’]) print(me) print(True and False) for i in [1, 2, 3]: print(i) def hello(): print(“I Love u”) hello() x = np.array([1.0, 2.0, 3.0])

目前，作为深度学习的代表算法之一，卷积神经网络（Convolutional Neural Networks，CNN）在计算机视觉、分类等领域上，都取得了当前最好的效果。 后来，基于深度神经网络和搜索树的智能机器人“AlphaGo”在围棋上击败了人类，这是CNN 给人们的一个大大的惊喜。一年后的 Master 则更是完虐了所有人类围棋高手，达到神一般的境界，人类棋手毫无胜机。 可以说，卷积神经网络是深度学习算法应用最成功的领域之一。 目前，CNN应用也十分广泛。例如Facebook用它进行自动的图像标签，google用它做照片检索，amazon用它做产品推荐，Pinterest用它做个性化家庭定制推送，Instagram用它搭建他们的搜索架构。 那么，基于CNN最经典也是最流行的应用应当是图像处理领域。 而研读卷积神经网络的经典论文，对于学习和研究卷积神经网络必不可缺。 今天，给大家推荐一些资料，有 论文、知识图谱。 7份经典学术论文 这些论文大部分都发表在计算机视觉顶级学术会议上。 这7份论文资料，100p以上的内容体量。 建议收藏学习。 01 resnet 02 CNN 03 batchnorm 04 alexnet 05 visualzing 06 resnet 07 yolo4 目前， 2000+ 的看过这个论文资料的同学都顺利成为各公司算法工程师。大家扫码添即可领取

稀疏化是神经网络轻量化的重要手段，其中细粒度剪枝和结构化稀疏各有利弊。如何取二者之所长，实现更强大的模型压缩能力和端侧加速能力呢？本文将为大家介绍「细粒度结构化稀疏」。 机器之心发布，机器之心编辑部。 前不久，英伟达黄老板从自家烤箱里端出了最新款基于 Ampere 架构的 A100 GPU。跟以往的新产品一样，Ampere 相比上一代产品性能有很大提升，并具备多个重要的新特性，其中之一就是细粒度结构化稀疏。这一特性能够为神经网络提供最多两倍的加速，本文我们就来一探究竟。 近年来，深度神经网络在很多领域得到成功应用，但这些网络往往体量巨大，需要很高的计算力和存储空间支持。这使得它们在手机等嵌入式设备中的应用比较困难。神经网络轻量化就是针对这一问题的研究领域。 轻量化的常用手段有：网络低精度化、低秩化近似、网络蒸馏、轻量化结构的设计与搜索，以及本文要讲的稀疏化等做法 [1]。 网络稀疏化 网络参数稀疏化，简单来讲就是通过适当的方法减少较大网络中的冗余成分，以降低网络对计算量和存储空间的需求。稀疏化可以通过稀疏化约束或权重剪枝等多种方法实现。其中逐元素 (element-wise，亦称细粒度) 稀疏化操作得到的是一个非结构化的网络结构(如下图左)，这一做法通常能够达到较高的参数效率，从而有效地减少模型对存储空间的要求。 剪枝单元示意，依次为：单个权重，权重向量，单个卷积核通道，整个卷积核

　　“今天好多学生在选专业时，听到要做硬件、做芯片，就会有一种恐惧感，我们希望能改变这种状态。” 　　说这话的人是中国科学院计算技术研究所研究员、先进计算机系统研究中心主任包云岗，几年前他所在的中国科学院大学有 35% 的学生不喜欢做芯片，现在不少学生已经开始热衷于做芯片，并已经有学生“带芯毕业”。 　　2020 年 6 月，五位 95 后本科生，带着自己设计的处理器芯片“果壳（NutShell）” ，从中国科学院大学毕业，这在国内非常罕见。 　　 　　图 | 五位 “带芯” 毕业的本科生（来源：受访者） 　　整个芯片从设计到研发，耗时仅仅 4 个月，如此高效率的研发，得益于包云岗团队研发的开源芯片设计平台——SERVE。 　　在 2020 中关村论坛未来青年论坛现场，DeepTech 专访包云岗，并请他重点阐述了 SERVE 开源芯片设计平台的现状。 　　 　　图 | 包云岗（来源：中关村论坛未来青年论坛） 　　SERVE 的诞生，要从 2012 年开始，这是一个摸索着长大的产品。2016 年，负责团队耗时 4 年，终于研发出 SERVE 第一版。 　　同时，包云岗和团队核心成员张科博士、常轶松博士也在继续探索。在明确开源方向后，他们决定把 SERVE，打造成开源芯片设计平台。2019 年，SERVE 发布第三版，并发挥作用至今。 　　 　　图 | 开源芯片设计平台 SERVE

一、文本挖掘 文本挖掘则是对文本进行处理，从中挖掘出来文本中有用的信息和关键的规则，在文本挖掘领域应用最往广泛的是对文本进行分类和聚类，其挖掘的方法分为无监督学习和监督学习。文本挖掘还可以划分为7大类：关键词提取、文本摘要、文本主题模型、文本聚类、文本分类、观点提取、情感分析。 关键词提取 ：对长文本的内容进行分析，输出能够反映文本关键信息的关键词。 文本摘要 ：许多文本挖掘应用程序需要总结文本文档，以便对大型文档或某一主题的文档集合做出简要概述。 文本聚类 ：主要是对未标注的文本进行标注，常见的有 K均值聚类和层次聚类。 文本分类 ：文本分类使用监督学习的方法，以对未知数据的分类进行预测的机器学习方法。 文本主题模型 LDA ：LDA（ Latent Dirichlet Allocation ）是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构，该模型可以用于获取语料的主题提取和对不同类别的文档进行分类。 观点抽取 ：对文本（主要针对评论）进行分析，抽取出核心观点，并判断极性(正负面)，主要用于电商、美食、酒店、汽车等评论进行分析。 情感分析 ：对文本进行情感倾向判断，将文本情感分为正向、负向、中性。用于口碑分析、话题监控、舆情分析。 因为自己的论文写的是关于情感分析方面的内容，因此打算接下来主要写情感分析系列的内容

如有损害他人利益，请即时通知，文章会在第一时间内删除！ 前言 继极验文字点选的发布，怎么能少得了易盾呢，本次分享将会把模型，代码，数据集一起分享出来！ 摘要（About this paper）: 易盾的文字点选识别，其中包括验证码模型，和7w+文字数据集，目前识别率在80左右，当作一个小练习，后续有数据集的同学愿意分享，可以接着训练该模型，由于模型和数据集比较大，就分享在QQ群文件里了，有需要的可以进群一起交流！ 扩充 识别思路： 易盾文字点选验证码模型训练思路! 一、label_image 标注文字位置约400左右 二、pytorch + yolov3 训练位置预测模型 三、根据预测位置裁剪汉字图片 四、pytorch + CNN 深层神经网络识别汉字 总结： 大部分的验证码用目标检测+卷积神经网络是都能搞定的！如果类似易盾图标点选就可以减少数据集，使用孪生网络进行预测！ 关于安装: 很多github上都有讲Linux系统的，本文以windows为例! pip install torch==1.4.0+cpu torchvision==0.5.0+cpu -f https://download.pytorch.org/whl/torch_stable.html pip install -r requirements.txt -i https://pypi.tuna

　　 摘 要 　　单图像去雨是图像复原的重要研究方向之一。单图像深度学习去雨方法中，全监督去雨方法模型的输入均为配对数据，因此尽管利用大量的合成配对数据取得了很好的效果，但处理真实雨图时会产生性能退化；此外无法利用真实世界中的大量无标签雨图，因此无法很好地解决真实图像去雨任务。鉴于此，基于部分或零配对数据的无监督/ 半监督去雨算法则体现出更大的优势。本文将重点围绕无监督与半监督单图像深度学习去雨研究的最新进展进行简要回顾及分析，并力图为后续的研究提供一些思路。 　　 关 键 字 　　图像复原；单图像去雨；无监督去雨；半监督去雨；深度表示学习 　　图像复原是利用退化过程的某些先验知识建立相应的数学模型，通过求解逆问题对原始图像进行估计进而复原被退化的图像。但在退化过程中，噪声和干扰因素同时存在，给图像的复原带来了诸多不确定性和挑战。随着深度学习研究热潮的到来，图像复原仍然是目前计算机视觉领域的重要方向，例如图像去雨、图像去雾和图像去模糊等，是诸多高层视觉任务的重要预处理步骤。雨是最常见的动态恶劣天气，因此本文重点探讨图像去雨任务。特别地，图像去雨分为静态单图像去雨和动态序列图像（即视频）去雨。和视频去雨相比，单图像去雨由于缺乏时域信息因而更具挑战性。图1 展示了部分合成的雨图像和真实的雨图像的对比，从中可见真实雨图中的雨纹信息是更加复杂的、多样化的和多方向的

　　2020 WAIC·开发者日将于7月10日-11日线上举办。多伦多大学助理教授、向量学院联合创始人、NeruIPS 2018 最佳论文奖得主，将带着对微分方程和连续时间的最新思考出现在 WAIC 开发者日。 　　提到 David Duvenaud 你或许有些陌生，但最近大热的「神经常微分方程」想必你一定听说过。 　　《Neural Ordinary Differential Equations》获得 NeruIPS 2018 最佳论文奖，David Duvenaud 正是该论文的通讯作者，也是论文一作陈天琦的导师。 　　 　　David Duvenaud 是多伦多大学向量学院的创始人之一，能源预测和贸易公司 Invenia 的联合创始人，目前在多伦多大学担任计算机科学助理教授。 　　他在剑桥大学获得博士学位，后在哈佛大学 Intelligent Probabilistic Systems 实验室完成博后工作。 　　目前，他在多伦多大学教授概率学习和推理、机器学习统计方法、可微分推断和生成模型等课程，指导的学生有陈天琦、Jesse Bettencourt、Dami Choi、Will Grathwohl、Eric Langlois、Jonathan Lorraine、Jacob Kelly 和 Winnie Xu。 　　 David Duvenaud 与微分方程的羁绊