神经网络

↑ 点击 蓝字 关注视学算法 作者丨深兰科学院李亦超 来源丨 DeepBlue深兰科技 编辑丨极市平台 极市导读 以2014年为分水岭，作者将过去二十年的目标检测发展进程分为两个阶段：2014年之前的传统目标检测，以及之后基于深度学习的目标检测。接下来，文章列举了二十年来目标检测领域的关键技术，思路非常清晰。 过去二十年中与 “ 目标检测 ” 相关的出版物数量的增长 二十年 在计算机视觉领域中有几个基本的任务：图像分类[3]、目标检测[4]、实例分割[5]及语义分割[6]，其中目标检测作为计算机视觉中最基本的任务在近年来引起了广泛关注。某种意义上，它在过去二十年内的发展也是计算机视觉发展史的缩影。如果我们将今天基于深度学习的目标检测技术比作一场“热兵器革命”，那么 回顾20年前的技术 时即可窥探“冷兵器”时代的智慧。 目标检测是一项计算机视觉任务。正如视觉对于人的作用一样，目标检测旨在解决计算机视觉应用中两个最基本的问题： 1. 该物体是什么？2. 该物体在哪里？ 当然，聪明的人可能会立即想到第三个问题： “该物体在干什么？” 这即是更进一步的逻辑及认知推理，这一点在近年来的目标检测技术中也越来越被重视。不管怎样，作为计算机视觉的基本任务，它也是其他计算机视觉任务的主要成分，如实例分割、图像字幕、目标跟踪等。 从应用的角度来看，目标检测可以被分为两个研究主题 ：“ 通用目标检测

从ANI到AGI的道路 为什么这么难 　　 没有什么比学习创造一台像人类一样聪明的电脑这种难以置信的创造更能让人欣赏人类的智慧了。建造摩天大楼、将人类置于太空中，弄清楚宇宙大爆炸如何发生以及细节，这些都比了解我们自己的大脑或如何制造像大脑一样酷的东西要容易得多。截至目前来说，人类大脑是已知宇宙中最复杂的物体。 　　 有趣的是，尝试构建AGI（一种与一般人类一样聪明的计算机，而不是只局限于某一个特定领域）的困难部分并不直观，在你看来有什么是困难的？。构建一台可以瞬间将两个十位数字相乘的计算机？这非常容易就可以做到。建立一个可以看着小狗狗并回答它是狗还是猫的机器人？这无疑是非常困难的。制作可以在国际象棋中击败任何人的人工智能？我们已经做到了。制作一个可以从一本六岁孩子的图画书中理解词语的含义并读给孩子听而不是仅仅识别这些词语的机器人？谷歌目前正在花费数十亿美元美元试图做到这一点。对于计算机而言，诸如微积分，金融市场策略和语言翻译等人类难以理解的东西对于计算机来说是非常容易理解的，而像视觉，动作，运动和感知这样的简单事物对它来说是非常困难的。或者，正如计算机科学家Donald Knuth所说的那样，“人工智能已经成功地完成了所有需要思考的事情，但未能在没有思考的情况下完成人和动物的大部分工作。” 　　 当你想到这一点时你很快就会意识到，那些对我们来说似乎很容易的东西实际上是难以置信的复杂

近期，谷歌有史以来的第一次线上谷歌 Web 开发者大会，Web Vitals、PWA、DevTools 和 Lighthouse 6.0 等一系列特性或产品带来的全新体验，让人眼花缭乱。这次大会也以线上的形式分享了包括了性能优化、打包构建等非常多干货，定会让你收获颇丰。 登高远眺 — 天高地迥，觉宇宙之无穷 基础技术 谷歌发布首个线上 Web 开发者大会 谷歌在本月初完成首次线上 Web 开发者大会 (web.dev/live)，以线上视频的形式，分享关于优化核心 Web 指标的最佳实践，Cookie 隐私和安全保护、构建工具与打包优化、Chrome DevTools 改进等技术干货。 盛况回顾 | 谷歌 Web 开发者大会的重要发布 深入浅出现代 Web 编程 这是芬兰赫尔辛基大学公开的全栈课程资源，内容包括 React, Redux, Node.js, MongoDB, GraphQL 以及 TypeScript 等，教你利用 ReactJS 搭配 Node.js 开发 REST API，搭建属于自己的单页应用程序（SPA：Single Page Application）。 全栈公开课 2020 前端框架 在 React 内使用内联函数的性能损耗究竟有多少？ 一直有人教导我们：在 React 里用形如 onClick={() => { /* xxx */ }}

1 概述 　　在之前介绍的几种方法，我们对值函数一直有一个很大的限制，那就是它们需要用表格的形式表示。虽说表格形式对于求解有很大的帮助，但它也有自己的缺点。如果问题的状态和行动的空间非常大，使用表格表示难以求解，因为我们需要将所有的状态行动价值求解出来，才能保证对于任意一个状态和行动，我们都能得到对应的价值。因此在这种情况下，传统的方法，比如Q-Learning就无法在内存中维护这么大的一张Q表。 　　针对上面的问题，于是有人提出用一个模型来表示状态，动作到值函数的关系。我们令状态为 $s \in S $，行动为 $a \in A $，引入一个状态价值函数 $\hat{v}$，函数的参数为 $w$，接收状态 $s$ 的输入，则有： 　　　　$ \hat{v}(s, w) \approx v_{\pi}(s) $ 　　对于动作-状态价值函数也是一样可以表示为： 　　　　$ \hat{q}(s,a,w) \approx q_{\pi}(s,a) $ 　　还有一种表现形式是输入状态向量 $s$，输出每个动作 ${a_i}\in{A}$ 所对应的 $\hat{q}(s,a_i,w) $。具体的如下如所示： 　　 　　虽说有上面三种表达形式，但一般我们用第三种方式，这一种方法会获得所有动作的Q值，这样就可以很方便的使用贪婪策略和$\epsilon-greedy$。 　

Batchnorm原理详解 前言 ：Batchnorm是深度网络中经常用到的加速神经网络训练，加速收敛速度及稳定性的算法，可以说是目前深度网络必不可少的一部分。 本文旨在用通俗易懂的语言，对深度学习的常用算法–batchnorm的原理及其代码实现做一个详细的解读。本文主要包括以下几个部分。 Batchnorm主要解决的问题 Batchnorm原理解读 Batchnorm的优点 Batchnorm的源码解读 第一节：Batchnorm主要解决的问题 首先，此部分也即是讲为什么深度网络会需要batchnorm ，我们都知道，深度学习的话尤其是在CV上都需要对数据做归一化，因为深度神经网络主要就是为了学习训练数据的分布，并在测试集上达到很好的泛化效果，但是，如果我们每一个batch输入的数据都具有不同的分布，显然会给网络的训练带来困难。另一方面，数据经过一层层网络计算后，其数据分布也在发生着变化，此现象称为Internal Covariate Shift，接下来会详细解释，会给下一层的网络学习带来困难。batchnorm 直译过来就是批规范化，就是为了解决这个分布变化问题。 1.1 Internal Covariate Shift Internal Covariate Shift ：此术语是google小组在论文 Batch Normalizatoin 中提出来的，其主要描述的是

为了更好地为目标客户服务，嵌入式设计团队今天正在研究新技术，如机器学习（ML）和深度学习（DL）。ML和DL使这些设计人员可以更快，更有限的资源开发和部署复杂的机器和设备。借助这些技术，设计团队可以使用数据驱动方法构建系统或系统的复杂模型。 ML和DL算法不是使用基于物理学的模型来描述系统的行为，而是从数据推断出系统的模型。当要处理的数据量相对较小并且问题的复杂度较低时，传统的ML算法很有用。 但是更多数据的更大问题如自动驾驶汽车呢？这项挑战需要DL技术。这种新兴技术将推动我们进入控制设计和物联网（IoT）应用的下一个时代。 机器学习在工业资产中的应用 首先，考虑ML技术在工业资产状态监测中的应用。ML帮助将基于状态的监控应用从反应式和预防性维护转变为预测性维护。这些技术被用于检测异常行为，诊断问题，并在一定程度上预测工业资产（如电动机，泵和涡轮机）的剩余使用寿命。 图1显示了基于ML开发和部署模型的工作流程。 图1 分析工作流程与机器学习 看看这个工作流程是如何用来监测电动机的健康状况的。数据是从多种类型的传感器收集的，例如加速度计，热电偶和连接到电机的电流传感器。特征工程步骤通常由两部分组成：特征提取和特征缩减（图2）。 图2 特征工程 特征提取用于从原始数据（或波形）中导出有用信息以了解资产的健康状况。例如，如图3所示，来自电机的电流信号的频谱中嵌入了可用于检测故障的信息

来源：AI科技评论 编译：青暮 本文介绍了Hinton团队发表在NeurIPS 2020上的一项研究工作，一作是Ting Chen，研究人员首次在ImageNet上尝试了半监督学习的典型范式，并取得了优越的结果。此外，他们还发现，网络的规模越大，需要的标签数据越少。 论文地址：https://arxiv.org/abs/2006.10029 仅使用1％的标签（每类≤13个标签图像），本文提出的方法即可达到73.9％ImageNet top-1准确率，与以前的SOTA相比，标签效率提高了10倍。 使用10％的标签，本文的方法可以达到77.5％的top-1准确率，优于使用100%标签的标准监督训练。 “无监督预训练、监督微调”范式 充分利用少量标记示例和大量未标记示例进行学习是机器学习的一个长期存在的问题。 人们曾经提出一种半监督学习来试图解决这个问题，其中涉及无监督或自监督的预训练，然后进行有监督的微调。 这种方法在预训练期间以与任务无关的方式利用未标记的数据，仅在有监督微调时使用带标签的数据。 这种方法在计算机视觉上很少受关注，但是在自然语言处理中已成为主流。例如，人们首先在未标记的文本（例如Wikipedia）上训练大型语言模型，然后在一些带标记的示例中对该模型进行微调。 基于视觉表示的自监督学习的最新进展，Ting Chen等人对ImageNet上的半监督学习进行了深入研究

　　从搜索引擎到自动驾驶汽车，人工智能（AI）已经应用于日常生活的方方面面。这与近年来飞跃式的算力进步有很大关系。但 AI 研究的最新结果表明，更简单小巧的神经网络可以更好，更有效且更可靠地解决某些任务。 　　近日，麻省理工学院计算机科学与人工智能实验室（MIT CSAIL），维也纳工业大学和奥地利科技学院的国际研究团队开发出了一种新型 AI 系统。 　　这种新颖的 AI 系统受到线虫等细小动物的大脑的启发，其核心控制系统仅用 19 个神经元就能操控车辆，实现自动驾驶。 　　 　　研究团队表示，该系统比以前的深度学习模型具有决定性的优势。它可以更好地应对噪声的输入，而且由于其构造的简单性，人们可以很好地解释其操作模式，不再是 “复杂的黑匣子”。这种新的深度学习模型现已发布在 Nature Machine Intelligence 上。 　　谷歌软件工程师兼 AI 研究员 Franois Chollet 表示，“神经回路政策是一种受生物神经元启发的有前途的新架构。它生成的模型非常小，但能处理复杂任务。这种简单性使其更强大，更易解释。” 　　类似于大脑，人工神经网络由许多单个神经元组成。当一个神经元处于活动状态时，它将向其他神经元发送信号。下一个神经元会收集所有信号，组合起来并决定其自身是否激活。一个神经元影响下一个神经元的方式决定了整个系统的下一次行为

晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI 只要解出薛定谔方程，你就能预测分子的化学性质。但现实很骨感，迄今为止，科学家只能精确求解一个电子的氢原子，即使是只有两个电子的氦原子都无能为力。 原因是有两个以上电子组成的薛定谔方程实在太复杂，根本无法精确求解。 既然找不到精确解，科学家们希望能找到一种实用的近似解求法，只要结果足够近似，也能预测原子或分子的行为。 近日，DeepMind开源了一个“ 费米网络 ”（FermiNet），用来求解分子的电子行为，在30个电子的有机分子上也达到了很高的精度。文章结果发表在期刊 Physical Review Research 上。 为什么叫费米网络 在量子力学中，电子没有精确的位置，我们只能从 波函数 预测电子在空间中出现的概率，也就是电子云。 比如氢原子的电子云就有以下几种形态。 曲面内表示电子出现的高概率区域。蓝色区域波函数为正，紫色区域波函数为负。（注：波函数平方表示电子出现的概率） 误差小于0.5%即可预测分子的能量，但这对于化学家来说远远不够，要准确预测分子的形状和化学性质，需要0.001%的精度，相当于以毫米精度测量足球场宽度。 电子在分子中不仅受到原子核的吸引力、其他电子的斥力，还遵循着量子力学中的 费米-狄拉克统计 ：如果两个电子交换状态，波函数要反号。 这也意味着两个电子的状态不可能完全相同，否则波函数为0

　　 目前我们还无法精细到神经元级别的观测，只能从功能层面理解大脑，但这些成果也启发了很多经典的人工智能算法，例如卷积神经网络启发自猫脑视觉感受野研究，胶囊网络启发自脑皮层微柱结构研究。在未来，我们能不能深入到神经元的层面研究大脑，是非常重要的一步。 　　8月29日至30日，主题为“智周万物”的2020年中国人工智能大会（CCAI 2020）在位于江苏南京的新加坡·南京生态科技岛举办。 　　在大会上，中国工程院院士戴琼海做了主题为《人工智能：算法·算力·交互》的特邀报告，从算力、算法与人机交互三方面展开了分享，指出光电智能计算是未来算力发展的一大候选，深度学习遭遇算力和算法瓶颈，全脑观测对于启发下一代AI算法至关重要，在人机交互的发展中，我们要谨记图灵的教诲，完善AI伦理，并且机器视觉、触觉的协同是一大技术重点。 　　 　　以下是演讲全文，AI科技评论进行了不改变原意的整理： 光电计算推动AI算力飙升 　　在人工智能发展的时代，特定学科的定义越来越含糊，交叉学科成为机器学习的特点。同时，人类在脑力层面进一步依赖机器，并逐渐把更多大脑思考和不可解析的问题交给机器来执行。这其中也涉及到“力量”的问题。 　　但是，我们发现，在许多由机器辅助或代替人类处理问题的领域里，如无人系统、量子计算、纳米科技、物联网等，机器的“力量”还不够，原因在于：现有的许多模型和算法还达不到机器学习的需求。