神经网络

神经网络的经典结构是怎么设计出来的？ 哈哈哈的回答-知乎 https://www.zhihu.com/question/392634888/answer/1391574322 很多神经网络的结构，确实是炼丹，没有什么道理可言。 有一些神经网络的设计，有着较为清晰的、明确的解释。 例如， 残差收缩网络 针对数据中噪声较多的情况，在其结构中采用了软阈值化(降噪常用步骤)。 在这里，软阈值化层的使用，有着相对明确的物理意义，就是为了应对噪声较强的情况。 M Zhao, S Zhong, X Fu, B Tang, M Pecht, Deep residual shrinkage networks for fault diagnosis , IEEE Transactions on Industrial Informatics, 16 (7), 4681-4690, 2020. 深度残差收缩网络：借助注意力机制实现特征的软阈值化 https://zhuanlan.zhihu.com/p/121801797 深度残差收缩网络：从删除冗余特征的灵活度进行探讨 https://zhuanlan.zhihu.com/p/118493090 来源： oschina 链接： https://my.oschina.net/u/4609034/blog/4479555

【ACL 2019】揭秘认知图谱！从多跳阅读理解问答开始 Phoenix Cat 劝退人工智能新天坑 “机器的阅读理解与问答”一直以来被认为是“自然语言理解（NLU）”的核心问题之一，随着BERT等模型的兴起，单段落的简单阅读理解任务取得了重大突破；研究者将目光转向更能体现机器智能的“多跳”“复杂”情形。本篇论文介绍了基于认知中“双过程理论（dual process theory）”的CogQA模型，文章提出一种新颖的迭代框架：算法模拟认知学中人类的两个认知系统，并维护一张认知图谱（Cognitive Graph），系统一在文本中抽取与问题相关的实体名称并扩展节点和汇总语义向量，系统二利用图神经网络在认知图谱上进行推理计算。文章在HotpotQA全维基百科数据集上持续占据第一近三个月之久，直到文章在被ACL高分接收后公开。 假设你手边有一个维基百科的搜索引擎，可以用来获取实体对应的文本段落，那么如何来回答下面这个复杂的问题呢？ “谁是某部在2003年取景于洛杉矶Quality cafe的电影的导演？” 很自然地，我们将会从例如Quality cafe这样的“相关实体”入手，通过维基百科查询相关介绍，并在其中讲到好莱坞电影的时候迅速定位到“Old School”“Gone in 60 Seconds”这两部电影，通过继续查询两部电影相关的介绍，我们找到他们的导演

来源：深度强化学习实验室 本文 约15000字 ，建议 阅读10+分钟 本文为你深入浅出、全面系统总结强化学习的发展及未来展望。 深度强化学习是深度学习与强化学习相结合的产物，它集成了深度学习在视觉等感知问题上强大的理解能力，以及强化学习的决策能力，实现了端到端学习。深度强化学习的出现使得强化学习技术真正走向实用，得以解决现实场景中的复杂问题。从2013年DQN（深度Q网络，deep Q network）出现到目前为止，深度强化学习领域出现了大量的算法，以及解决实际应用问题的论文， 本文将阐述深度强化学习的发展现状，并对未来进行展望。 一、深度强化学习的泡沫 2015 年，DeepMind 的 Volodymyr Mnih 等研究员在《自然》杂志上发表论文 Human-level control through deep reinforcement learning[1]，该论文提出了一个结合深度学习（DL）技术和强化学习（RL）思想的模型 Deep Q-Network（DQN），在 Atari 游戏平台上展示出超越人类水平的表现。自此以后，结合 DL 与 RL 的深度强化学习（Deep Reinforcement Learning, DRL）迅速成为人工智能界的焦点。 过去三年间，DRL 算法在不同领域大显神通：在视频游戏 [1]、棋类游戏上打败人类顶尖高手 [2,3]

蒲公英 · JELLY技术周刊 Vol.16 近期，谷歌有史以来的第一次线上谷歌 Web 开发者大会，Web Vitals、PWA、DevTools 和 Lighthouse 6.0 等一系列特性或产品带来的全新体验，让人眼花缭乱。这次大会也以线上的形式分享了包括了性能优化、打包构建等非常多干货，定会让你收获颇丰。 登高远眺 天高地迥，觉宇宙之无穷 基础技术 谷歌发布首个线上 Web 开发者大会 谷歌在本月初完成首次线上 Web 开发者大会 (web.dev/live)，以线上视频的形式，分享关于优化核心 Web 指标的最佳实践，Cookie 隐私和安全保护、构建工具与打包优化、Chrome DevTools 改进等技术干货。 深入浅出现代 Web 编程 这是芬兰赫尔辛基大学公开的全栈课程资源，内容包括 React, Redux, Node.js, MongoDB, GraphQL 以及 TypeScript 等，教你利用 ReactJS 搭配 Node.js 开发 REST API，搭建属于自己的单页应用程序（SPA：Single Page Application）。 前端框架 在 React 内使用内联函数的性能损耗究竟有多少？ 一直有人教导我们：在 React 里用形如 onClick={() => { /* xxx */ }} 函数内联的写法会降低性能，是不好的

作者 | Jay Alammar 译者 | 香槟超新星，责编 | 夕颜 来源 | CSDN（ID:CSDNnews） 注意力机制是一种在现代深度学习模型中无处不在的方法，它有助于提高神经机器翻译应用程序性能的概念。在本文中，我们将介绍Transformer这种模型，它可以通过注意力机制来提高训练模型的速度。在特定任务中，Transformer的表现优于Google神经机器翻译模型。但是，最大的好处来自于Transformer如何适用于并行化。实际上，Google Cloud建议使用Transformer作为参考模型来使用其Cloud TPU产品。因此，我们试试将模型分解开吧，看看它是如何工作的。 Attention is All You Need一文中提出了Transformer。它的TensorFlow实现是Tensor2Tensor包的一部分。哈佛大学的NLP团队创建了一份指南，用PyTorch实现对这篇文章进行注释。在本文中，我们将试着尽可能地简化讲解，并逐一介绍概念，希望能让那些对这方面没有深入知识的人们更容易理解Transformer。 Transformer概览 首先，让我们先将模型视为一个黑盒。在机器翻译应用程序中，这个模型将拿一种语言中的一个句子，然后以另一种语言输出其翻译。 打开擎天柱的引擎盖（Optimus Prime，Transformer与变形金刚是同一个词

来源：海豚数据科学实验室 深度学习的未来在于这三种学习模式，而且它们彼此之间密切相关： 混合学习——现代深度学习方法如何跨越监督学习和非监督学习之间的边界，以适应大量未使用的无标签数据？ 复合学习——如何以创造性的方法将不同的模型或组件连接起来，以生成一个大于各部分之和的复合模型？ 简化学习——出于性能和部署目的，如何减少模型的规模和信息流，同时保持相同或更强的预测能力？ 混合学习 这种方式试图跨越监督学习和非监督学习之间的界限。由于有标签数据缺乏且成本高，所以常常在业务上下文中使用。从本质上说，混合学习是对下面这个问题的回答： 如何使用监督方法解决非监督问题？ 首先，半监督学习在机器学习领域取得了良好的进展，因为它只需要很少的有标签数据就能够在监督问题上有非常好的表现。例如，一个设计良好的半监督式 GAN（生成式对抗网络）只需要 25 个训练样本，就能在 MNIST 数据集上获得了超过 90% 的准确率。 半监督学习是针对有大量无监督数据和少量有监督数据的数据集而设计的。传统上，监督学习模型只在一部分数据上进行训练，无监督模型则在另一部分数据上进行训练，而半监督模型则可以将有标签数据与从无标签数据中提取的见解结合起来。 半监督 GAN（简称 SGAN）是对 标准生成式对抗网络模型 的改写。判别器输出 0/1 表示图像是否生成，它也输出项的类别（多输出学习）。 这是基于这样一种想法

　　导读：Waymo 近期宣布在凤凰城地区开放没有安全员的无人驾驶出租车，实现首个商用的真正的无人驾驶。与此同时，Waymo 也公开分享了一系列新的研究论文，本文就来讲解一下 Waymo 在行为预测方面的研究成果。 　　周围的车辆和行人在接下来数秒中会做什么？要实现安全的自动驾驶，这是一个必须回答的关键问题，这也就是自动驾驶领域中的行为预测问题。 　　行为预测的难点在于周围行人、车辆的不确定性和各种规则之外的行为。这些状况难以用规则进行总结，因此最近研发人员们开始利用基于数据驱动的深度学习的方法，以达到更加合理的预测效果。 　　在这方面， 来自 Waymo 和谷歌的团队提出了一系列用于自动驾驶行为预测的模型，让无人车理解抽象的道路环境，并实现对车辆、行人的多可能性预测。 　　在今年 6 月的一篇 CVPR 论文中，这个团队首先提出了一个全新模型 VectorNet。 　　在该模型中，团队首次提出了一种抽象化认识周围环境信息的做法：用向量（vector）来简化地表达地图信息和移动物体，这一做法抛开了传统的用图片渲染的方式，达到了降低数据量、计算量的效果。Waymo 也在其博客文章中明确表示，该技术提高了其行为预测的精准度。 　　近日，这个团队公布了进一步的工作，提出了 TNT (Target-driveN Trajectory Predictio)。TNT

说起「指纹」，大家都不会感到陌生。凭着每个人的指纹都不一样的特性，指纹识别技术获得了广泛的利用。 和指纹相比，「声纹」的概念略显陌生。严格来讲，虽然声音并不具备真正意义上的纹理，但每个人的发音器官包括声带、声管等在大小和形状上会有所差异，同时由于性别、年龄和地域的影响，使得我们每个人都有着不一样的声音。 广义上讲，所有可以区分每个人不同声音的特征，都可以称为「声纹」。由于这些特征的存在，声纹和指纹一样，衍生出各种实用的技术。 声纹技术中最为核心的一项便是声纹识别技术。和指纹识别、人脸识别一样，声纹识别也是生物特征识别技术的一种，该技术利用算法和神经网络模型，让机器能够从音频信号中识别出不同人说话的声音。除了声纹识别之外，声纹技术也被广泛用于声纹分割聚类, 以及构建更为强大的语音识别、语音合成以及人声分离系统。 近年来，谷歌在声纹技术上的研究颇多。最近，谷歌声纹识别与语言识别团队负责人王泉老师为国内读者度身打造了一本声纹技术宝典——《声纹技术：从核心算法到工程实践》。 这本书系统性地介绍了声纹识别、声纹分割聚类及声纹在语音识别、语音合成、人声分离等领域中的应用。书中内容全面且紧随时代前沿，不仅涵盖了早至20世纪60年代的经典方法，还以大量篇幅着重介绍了深度学习时代的最新技术。这本书注重理论与实践的结合，除了配备大量实践案例与习题，还有专门章节介绍声纹技术在实际工程部署方面的诸多课题。

目录 1、题目要求 2、解题 一、系统方案 1.1 技术路线 1.2 系统结构 1.3 方案论证比较 二、理论分析与计算 2.1 物体形状的测量方法 2.2 物体尺寸的测量方法 三、误差分析 3、图像代码 1、题目要求 2、解题 本设计采用STM32F103ZET单片机作为主处理器，设计了非接触物体尺寸形态测量系统，包括核心板模块、主板降压及管脚设计模块、键盘输入模块、图像处理模块、激光测距模块、LCD彩屏模块、蜂鸣器模块、led灯模块、以及机械模型构成。系统采用OpenMV4 H7 Cam摄像头、STM32单片机、舵机构成闭环反馈电路，根据激光测距反馈回的信息，以及图像处理后反馈，控制舵机对方向及角度进行处理使摄像头和激光对准识别物，利用图像的处理来判断识别物的形状和尺寸，再利用激光测距模块测量出测量头中心点与被测目标之间的距离。该系统具有良好的性能，且具有很好的稳定性。 一、系统方案 1.1 技术路线 本系统采用Open mv、云台构成闭环回路系统。其中Open mv获得的位置信息反馈到单片机，单片机根据位置信息控制云台转向。达到目标之后，通过单片机控制激光测距模块进行距离的测量和通过 Open mv进行图像的处理来判断识别物的形状及尺寸。 1.2 系统结构 总体结构分为3个部分:输入输出的显示板、主控板、电源。其他模块通过接口与主控板相连。各个模块协调

　　近十年里，top-N商品推荐是隐式反馈中一个被广泛研究的课题，其目的是从大量数据中识别出用户可能偏爱的一小部分物品。 　　各种top-N物品推荐算法已经被开发出来，特别是基于深度学习的研究取得了很大的进展。 　　为了证明推荐算法的有效性，需要在基准数据集上建立可靠的评价实验。通常，这样的评估过程包括一系列对于数据集、指标、基线方法和其他方案的设置。 　　由于每个设置步骤可以选择不同的选项，需要制定和设计适当的标准，以使实验设置标准化。为此，有必要对近期研究中有分歧的实验设置进行系统的回顾。 　　本文介绍一篇被CIKM 2020收录的论文，在这篇论文中，对于不同的实验设置对评价top-N商品推荐算法的影响，作者设计了一个经验性的大规模实验。 　　 　　论文标题： 　　《Revisiting Alternative Experimental Settings for Evaluating Top-N Item Recommendation Algorithms》 　　论文来源：ACM CIKM 2020 　　论文链接：http://arxiv.org/abs/2010.04484 　　1 　　论文介绍 　　我们试图找出导致近期评测工作中出现分歧的重要评估设置。 　　具体来说，考虑三个重要的影响因素，即 数据集分割、采样指标和数据领域选择 。 　　数据集分割是指利用原始数据构造训练集