神经网络

一：Dropout的原理及bagging思想 1：Dropout原理 Dropout是深度学习中应对过拟合问题简单且有效的一种正则化方法。原理很简单：在训练阶段，在每一个Epoch中都以一定比例随机的丢弃网络中的一些神经元，如图一所示，使得每次训练的模型包含的神经元都不同。这种方式使得网络权重在更新过程中不依赖隐藏节点之间的固定关系（隐藏层节点的固定关系可能会影响参数更新过程），同时使得网络不会对某一个特定的神经元过分敏感，从而提高了网络的泛化能力。 图一：Dropout原理图 2：Dropout的Bagging思想 从《百面深度学习》这本书中的相关内容介绍领悟到，Dropout这种以一定比例随机丢弃神经元的方式是一种Bagging的思想：神经网络通过Dropout层以一定比例随即的丢弃神经元，使得每次训练的网络模型都不相同，多个Epoch下来相当于训练了多个模型， 同时每一个模型都参与了对最终结果的投票， 从而提高了模型的泛化能力。在此注意，Dropout与Bagging有一点不同是：Bagging的各个模型之间是相互独立的，而Dropout各个模型之间是共享权重的。 bagging是利用相同数据训练多个模型，然后将各个模型的结果投票或者加权取平均等。 二：Dropout使用要点 1：Dropout参数设置介绍 首先说一下Dropout的参数：官方文档中是这样介绍的： p:

​ 最近公司里有一些关于算法方面的工作，想到能学点有趣的新技术，于是毫不犹豫地参加了学习，机器学习，深度学习，离我们Java工程师到底远不远，说近不近，说远也不远，我们甚至可以在没有太多机器学习理论的基础时，去学习一些深度学习的简单应用，至少拿到demo过来跑一下还是没什么问题的。 深度学习到底是啥，简单来说，深度学习是机器学习领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(AI, Artificial Intelligence)。 深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。 深度学习在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。 今天我们就来推荐几本我们公司几位算法大佬推荐的深度学习图书，虽然不能保证你们看得懂，但是也一定是优中选优，如果你对机器学习有所了解，想学习一些深度学习的知识，也不妨看看这一份书单。 深度学习系列书单 ​

　　机器之心报道 　　 参与：Racoon、魔王、小舟 　　 　　 使用神经微分方程对时间序列的动态进行建模是一个很有潜力的选择，然而目前方法的性能往往受限于对初始条件的选择。这项新研究提出了改进策略，实现了新的 SOTA 性能。 　　神经常微分方程是对时序动态建模的不错选择。但是，它存在一个基本问题：常微分方程的解是由其初始条件决定的，缺乏根据后续观察调整轨迹的机制。 　　那么如何解决这一问题呢？来自牛津大学、阿兰图灵研究所和大英图书馆的一项研究展示了，如何通过受控微分方程的数学知识解决该问题。 　　该研究提出的神经受控微分方程（neural controlled differential equation）模型可直接用于部分观测的不规则采样多变量时间序列的通用设置，（与之前的解决方案不同，）它甚至可以在跨观测的情况下利用节约内存的共轭反向传播（adjoint-based backpropagation）。 　　该研究在多个数据集上进行了实验，发现该模型超过类似的（基于 ODE 或者 RNN）模型，实现了 SOTA 性能。最后，该研究还提供了理论结果，证明该模型是通用逼近器，且该模型包含了替代性的 ODE 模型。 　　 　　论文链接：https://arxiv.org/abs/2005.08926 　　代码链接：https://github.com/patrick-kidger

作者|Renu Khandelwal 编译|VK 来源|Medium 我们从以下问题开始 循环神经网络能解决人工神经网络和卷积神经网络存在的问题。 在哪里可以使用RNN？ RNN是什么以及它是如何工作的？ 挑战RNN的消梯度失和梯度爆炸 LSTM和GRU如何解决这些挑战 假设我们正在写一条信息“Let’s meet for___”，我们需要预测下一个单词是什么。下一个词可以是午餐、晚餐、早餐或咖啡。我们更容易根据上下文作出推论。假设我们知道我们是在下午开会，并且这些信息一直存在于我们的记忆中，那么我们就可以很容易地预测我们可能会在午餐时见面。 当我们需要处理需要在多个时间步上的序列数据时，我们使用循环神经网络（RNN） 传统的神经网络和CNN需要一个固定的输入向量，在固定的层集上应用激活函数产生固定大小的输出。 例如，我们使用128×128大小的向量的输入图像来预测狗、猫或汽车的图像。我们不能用可变大小的图像来做预测 现在，如果我们需要对依赖于先前输入状态（如消息）的序列数据进行操作，或者序列数据可以在输入或输出中，或者同时在输入和输出中，而这正是我们使用RNNs的地方，该怎么办。 在RNN中，我们共享权重并将输出反馈给循环输入，这种循环公式有助于处理序列数据。 RNN利用连续的数据来推断谁在说话，说什么，下一个单词可能是什么等等。 RNN是一种神经网络，具有循环来保存信息

　　机器之心分析师网络 　　 作者：王子嘉 　　 编辑：Joni 　　 在本文中，作者首先为读者普及了 word2vec 的基础知识，然后以六篇论文为示例详细介绍了当前研究如何利用经典 word2vec 进行拓展性研究。其中，作者重点介绍的部分是知识嵌入空间的生成过程，对于其完整应用感兴趣的读者可以参阅原论文。 　　随着深度学习的兴起，每个模型都需要一个输入，而我们现实生活中的对象（文字、图片）等等都不是数字，计算机无法处理。所以如何为每个任务确定一个合适的 “输入” 就变得尤其重要了，这个过程也被叫做表征学习。 　　word2vec 做的就是把文字变成对计算机有意义的输入，简单来说就是把这些东西映射到一个空间里，我们平时为了表示位置可能是三维空间，也就是 xyz，但是在图片啊、文本啊这种领域里，三维空间不太够，就可能去到另外一个 N 维空间，在这个空间里，就像三维空间里人的鼻子要跟嘴挨得近一样，我们也希望相似的东西在这个新的空间里也距离近，比如文本里的 “鼻子” 和“嘴”我们就也希望它们能挨得近一点，因为都属于五官，那么 “鼻子” 和“腿”就相对离得远一点。 　　顾名思义，word2vec 是把文字转换成计算机可以识别的输入，所以这个技术最开始应用、也是应用最多的地方就是自然语言处理领域（NLP）。其实在之前对于表征学习，我基于 ICLR 和 CVPR 做过两次 high

新智元报道 来源：arxiv 编辑：雅新 【新智元导读】 谷歌研究人员最近在CVPR 2020上发表的一篇论文提出了用于边缘设备上运行的单人人体姿态估计算法BlazePose。该算法在中端手机CPU上的性能比20核桌面CPU上的OpenPose还要快25-75倍。 根据图像或视频进行人体姿势估计在如健康跟踪、手语识别等实际应用中起着核心作用。由于个体会做出各种各样的姿势，此任务具有极大的挑战性。 谷歌研究人员最近在 CVPR 2020 上发表的一篇论文 提出了用于边缘设备上运行的单人人体姿态估计算法BlazePose 。 在推断过程中，采用推断身体33个关键点的轻量卷积网络，用编解码器直接推断边框，并在Pixel 2手机上推断速度可达到30fps。BlazePose在中端手机CPU上性能比20核桌面CPU上的OpenPose还要快25-75倍。 论文地址：https://arxiv.org/pdf/2006.10204.pdf 用面部检测器代替身体检测器，速度超OpenPose 最近的研究工作在姿势估计方面有了重大进展。而这些进展大都采用的方法是为每个关节生成热图以及每个坐标精炼偏移量。 虽然这种选择的热图可以扩展到多个人，但它使一个人的模型比适用于手机上的实时推断的模型大得多。而谷歌研究人员在此解决了这个特殊的用例，并演示了该模型的显著加速，而几乎没有质量下降。

前言： 第一篇是从用户生命周期出发，用一个短视频的案例来做分析，阐述了用户价值体系。 本文下篇，将从价值与流失的分析角度来做一些分享。本文涉及到的知识点有：用户生命周期、流量方向的分析方法论、用户分群、用户挖掘、算法、渠道归因、拉新、端承接、运营、产品等。除了遍历这些知识外，文章的核心部分是关于两个数据产品的（关于数据产品方向文章没有做更多阐述）。 用户水池与流失 关于流失与召回，这个是长久不衰的一个话题。在业务活动中，涉及到的角色还是蛮多的，比如产品角色、运营角色、数据分析角色、甚至渠道市场角色都有。 本文将从数据分析的角度来探索一个关于流失的业务场景，以及通过驱动运营、投放等一系列的动作来应对流失挽救，这些落地就成为一个系统化的工作。 曾经繁荣的第三方应用市场，这几年前来逐渐走向没落。从百度巨资吞了 91 助手，到应用手机厂商崛起达到顶峰，整个应用市场已经经历过多轮洗牌。 “荚，再见！豌豆荚、PP 助手宣布下架，从此再无免费软件？” 你是否还记得豌豆荚这些应用？它们也曾在繁华的第三方应用市场里激起过一点浪花。 到现在，不管是应用宝、360 手机助手、华为、小米等应用商店，都在构建自己的城池。 记得在 2016 年左右一个拓新的成本从之前的几块钱升到 10 块钱、最高时能到几十元，留住老用户或许一条短信、一点积分、活动就可以，相对的成本是很低廉的。从用户生命周期与成本来讲

　　自 4 月份开始，机器之心 CVPR 2020 线上论文系列分享已经进行到了第八期，为大家介绍了多篇优质论文，提供了与论文作者们沟通交流的机会。 　　如今，CVPR 2020 已正式开幕，线上会议也在火热进行中。 　　 　　如果你关注了 16 日大会的开幕，就会发现今年的 CVPR 依然火热。虽受疫情影响，CVPR 2020 改为了线上，但参会注册人数仍高达 7000 人。 　　除了宣布接收论文、参会人数等数据，开幕式上大会官方也公布了今年的最佳论文、最佳学生论文等奖项。来自牛津大学的吴尚哲、Christian Rupprecht、Andera Vedaldi 获得了最佳论文奖，来自加拿大西蒙弗雷泽大学的陈之钦（Zhiqin Chen ）等人获得了最佳学生论文奖。而最佳学生论文荣誉提名奖则授予了来自马普所和 Facebook 的研究者。 　　 　　机器之心的读者们肯定想要深入了解一下这篇新出炉的最佳学生论文， 我们这次邀请到了它的第一作者、西蒙弗雷泽大学 (SFU) 博士一年级学生陈之钦为我们来进行解读 。 　　 　　 主题：隐式场在神经网络建模三维图形中的应用 　　 个人介绍： 　　 演讲摘要： 　　如何让神经网络输出一个三维几何图形？目前学界有很多种表示方法，如点云，体素，可变形网格等。它们都在不同的应用中体现了自己的优势。 　　然而，自从 2019 年 CVPR

出品 | AI科技大本营（ID:rgznai100） 近日，两年一度的世界计算机视觉领域顶会ECCV 2020的各项挑战赛结果出炉，在图像分类赛中，阿里安全的高效AI分类技术超越三星、深兰科技、同济大学等国内外多支队伍的同类技术获得冠军。目前，阿里安全团队提出的“A visual inductive priors framework for data-efficient image classification”也已被ECCV 2020 Workshop VIPriors接收。 人工智能的崛起以海量的带标签训练数据作为基石，海量数据可以保障AI模型的效果，但是数据的收集和标注需要昂贵的人力成本，进行训练则需要消耗大量计算资源。ECCV 2020分类比赛的难题是，与其他比赛动辄使用十几万的数据不同，ECCV 2020的分类比赛共有1000个类别，每个类别仅有50张图片作为训练数据。比赛要求选手在不使用任何预训练模型和额外数据情况下，从零训练模型。这意味着训练难度巨大，几乎是不可能完成的任务。 不过，这也正是ECCV 2020为了考验参赛队伍如何对来之不易的训练数据进行充分利用，促使AI神经网络进行高效学习，降低神经网络训练过程中的人力和计算资源消耗，也就是说，参赛队伍要打造一个高效能、低成本的分类AI。 阿里安全图灵实验室算法工程师夜清介绍， 阿里安全智能算法团队从数据增强

Tensorflow中的图（tf.Graph）和会话（tf.Session） Tensorflow编程系统 Tensorflow工具或者说深度学习本身就是一个连贯紧密的系统。一般的系统是一个自治独立的、能实现复杂功能的整体。系统的主要任务是对输入进行处理，以得到想要的输出结果。我们之前见过的很多系统都是线性的，就像汽车生产工厂的流水线一样， 输入->系统处理->输出 。系统内部由很多单一的基本部件构成，这些单一部件具有特定的功能，且需要稳定的特性；系统设计者通过特殊的连接方式，让这些简单部件进行连接，以使它们之间可以进行数据交流和信息互换，来达到相互配合而完成具体工作的目的。 对于任何一个系统来说，都应该拥有稳定、独立、能处理特殊任务的单一部件；且拥有一套良好的内部沟通机制，以让系统可以健康安全的运行。 现实中的很多系统都是线性的，被设计好的、不能进行更改的，比如工厂的流水线,这样的系统并不具备自我调整的能力，无法对外界的环境做出反应，因此也就不具备“智能”。 深度学习（神经网络）之所以具备智能，就是因为它具有 反馈机制 。深度学习具有一套对输出所做的评价函数（损失函数），损失函数在对神经网络做出评价后，会通过某种方式（梯度下降法）更新网络的组成参数，以期望系统得到更好的输出数据。 由此可见，神经网络的系统主要由以下几个方面组成： 输入 系统本身（神经网络结构）