深度学习

作者 | 阿司匹林 出品 | AI科技大本营（ID：rgznai100） 头图 | CSDN下载自视觉中国 打响第一枪：占领高地 从 PaddlePaddle 到飞桨 2016 年，百度 PaddlePaddle 打响了国产 AI 框架开源的第一枪。 作为最早研究深度学习技术的公司之一， 百度早在 2013 年即设立了深度学习研究院，并于 2016 年正式开源深度学习框架 ，而 PaddlePaddle 也身负百度抢占人工智能时代高地的重要使命。 2018 年 7 月，李彦宏在百度 AI 开发者大会上喊出了要让“Everyone Can AI”的口号，其实这句口号后面还要加上一个限定——“通过百度的 AI 平台”。 这也意味着，PaddlePaddle 就是这场攻坚战中的突破点之一。 2019 年 4 月，时任百度高级副总裁（现百度 CTO）王海峰在 Wave Summit 深度学习开发者峰会上，为深度学习框架 PaddlePaddle 在百度内部的战略地位进行了定调。 PaddlePaddle 发布中文名“飞桨” ， 开始强调自己更懂中国开发者，以及更加专注于深度学习模型的工业生产和部署。 随着 AI 成为国家战略，在自主可控的号召下，作为底层的深度学习框架更受关注，相比于国内的同行，百度更早的迈出了这一步，也就有了先发优势。 经过 4 年的发展，飞桨在 GitHub 上已经有

文 | 黄康瑄 来源 | 智能相对论（ID：aixdlun） “A woman who doesn’t wear perfume has no future.”—from Coco Chanel 作为一项历史悠久的定制艺术品，香水在千百年来受到无数人的欢迎。专业调香师更是需要经过数十年的学习和训练，才能习得开发香水这项宝贵技能。近年，在图像、影像及语音识别等领域大放异彩的人工智能也开始逐渐渗透到香水行业。有趣的是， AI制作香水并不依赖嗅觉， 其原理类似于人工智能作曲和写作，通过大量分析香水的配方成分与销售资料，运用机率统计与排列组合等大数据运算，帮助调香师更有效率地调配出符合消费者喜好的配方。 AI香水=现有香料+配方+销售资料 2018年，全球知名的香精生产公司Symrise与IBM Research合作开发了一款名为Philyra的AI香水调试系统，其命名灵感来自希腊神话中的香水女神。 Philyra能够通过分析现有的芳香配方，将其成分与销售地区、客户年龄等数据进行匹配，调制出最符合目标客户喜好的香水。 目前，香水行业大约拥有1300种香料，包含合成香料，外加花、苔藓、香草以及水果的提取物等种类。客户群涵盖Estée Lauder、AVON、Coty和Donna Karan等著名香水公司的Symrise，向IBM提供了一套包含各种物质及对应组合构成的

前面的话 上次文章中，我们主要关注了 视觉应用中的Self-attention机制及其应用——Non-local网络模块 ，从最开始的了解什么是视觉注意力机制到对自注意力机制的细节把握，再到Non-local模块的学习。这次的文章我主要来关注 视觉注意力机制在分类网络中的应用 —— SENet、SKNet、CBAM。 我们通常将软注意力机制中的模型结构分为三大注意力域来分析： 空间域、通道域、混合域 。 （1） 空间域 —— 将图片中的的空间域信息做对应的 空间变换 ，从而能将关键的信息提取出来。对空间进行掩码的生成，进行打分，代表是Spatial Attention Module。 （2） 通道域 ——类似于 给每个通道上的信号都增加一个权重，来代表该 通道与关键信息的相关度 的话，这个权重越大，则表示相关度越高。对通道生成掩码mask，进行打分，代表是senet, Channel Attention Module。 （3） 混合域 —— 空间域的注意力是 忽略了通道域中的信息，将每个通道中的图片特征同等处理， 这种做法会将空间域变换方法局限在原始图片特征提取阶段，应用在神经网络层其他层的 可解释性不强 。 而通道域的注意力是 对一个通道内的信息直接全局平均池化，而忽略每一个通道内的局部信息 ，这种做法其实也是比较暴力的行为。所以结合两种思路，就可以设计出混合域的注意力机制模型。

ASLP(Audio, Speech and Language Processing Group ，音频、语音和语言处理组 ) 位于西北工业大学，隶属于陕西省语音和图像信息处理重点实验室（SAIIP）。 ASLP小组成立于1995年。ASLP小组的使命是促进音频，语音和语言处理学科内的广泛学科的跨学科研究和教育。目前，ASLP集团的研究范围包括人机语音通信，语音和音频信号处理，视听处理，多媒体内容分析和检索。 在2011年，该组由三位正教授，一位副教授，四位兼职教授和三十多位博士和硕士生组成...... ASLP 官网： http://www.npu-aslp.org ASLP Kaldi Github ： https://github.com/robin1001/kaldi-aslp/blob/master/README.md ASLP Kaldi 是对 Kaldi 的增强，增强的功能有： nnet 增强 Batch 正则化 标准 LSTM 、 BLSTM without projection 延迟（ Latency ）控制 BLSTM Warp CTC 以及 Eesen 版本的 CTC Skip training & decode 图网络（如多输入、多输出、 add 与拼接） 行卷积 GRU FSMN 语音端点检测（ VAD ） 在线识别 并行化增强 BSP （ Bulk

一种新颖的深度学习加速器。专用单元定义了一个 SRAM ，该单元可以处理矩阵乘法，量化，存储以及推理处理器所需的其他工作。 在Spice仿真中，当使用8位整数数学识别手写数字时，该设计可提供100兆次操作/秒/瓦（TOPS / W）。它的计算密度可以击败Google的TPU一个数量级。 该设计是使用内存中计算方法的加速器产品线中最新的一种。设计使用40纳米NOR闪存单元的深度学习处理器，其目标是为监视摄像机等设备使用低功耗芯片。 设计时使用了很少的模拟电路，因此可以扩展到精细的工艺节点。它可能成为低功耗处理器中引擎（从边缘到云）的引擎。 独特的方式操纵SRAM单元以处理深度学习任务 这个设计使用户可以为从权重到神经网络层甚至单个神经元的所有内容创建自定义参数。这种灵活性可以使将来设计用于训练处理器的设计成为可能。但是尚无用于对该设计进行编程的软件堆栈，可能会在以后解决或留给将来的客户使用。 来源： oschina 链接： https://my.oschina.net/u/4542041/blog/4589907

华为 的Huawei Mobile Service (HMS) 凭借领先的底层技术和应用生态， 为电商行业找到了消费增长的新路径、用户转化的新引擎和电商购物的新体验。 撰文 / Alter 编辑 / 胖爷 2019年的华为开发者大会期间，首次向全球发布了HMS生态，一口气开放了14 种能力、 51项服务和885个API。 此后的一年时间里，HMS生态驶入了发展的快车道。 2020年初正式发布HMS Core 4.0，新增机器学习、情景感知、统一扫码、近距离通信、安全检测等能力，实现了对全球超过170个国家和地区的覆盖； 刚刚结束的华为开发者大会 2020上 ， HMS Core 5.0正式发布，增加了图形计算服务、图形引擎服务、AR Engine等开放能力，HMS生态羽翼渐丰。 作为移动互联网时代的基础设施，华为不断完善HMS生态建设的原因，俨然不只是为了秀肌肉，而是打造整个互联网商业持续向上的坚固基石，比如正 在与电商行业产生的微妙化学反应。 01 电商增长的新路径 2020年，可以说是电商行业竞争最为激烈的一年。 在疫情黑天鹅的作用下，用户的购物习惯进一步向线上转移，直播带货一时间成为大众化的风口。原本“高冷”形象示人的CEO们，纷纷加入到直播带货的浪潮，电子、食品、房产、旅游、游戏……几乎一切都成了被带货的对象。 然而热闹的背后却是残酷的市场竞争。 短短几个月的时间里

课程名称 内容 阶段一、人工智能基础 — 高等数学必知必会 1.数据分析 "a. 常数e b. 导数 c. 梯度 d. Taylor e. gini系数 f. 信息熵与组合数 g. 梯度下降 h. 牛顿法" 2.概率论 "a. 微积分与逼近论 b. 极限、微分、积分基本概念 c. 利用逼近的思想理解微分，利用积分的方式理解概率 d. 概率论基础 e. 古典模型 f. 常见概率分布 g. 大数定理和中心极限定理 h. 协方差(矩阵)和相关系数 i. 最大似然估计和最大后验估计" 3.线性代数及矩阵 "a. 线性空间及线性变换 b. 矩阵的基本概念 c. 状态转移矩阵 d. 特征向量 e. 矩阵的相关乘法 f. 矩阵的QR分解 g. 对称矩阵、正交矩阵、正定矩阵 h. 矩阵的SVD分解 i. 矩阵的求导 j. 矩阵映射/投影" 4. 凸优化 "a. 凸优化基本概念 b. 凸集 c. 凸函数 d. 凸优化问题标准形式 e. 凸优化之Lagerange对偶化 f. 凸优化之牛顿法、梯度下降法求解" 阶段二、人工智能提升 — Python高级应用 1. 容器 "a. 列表:list b. 元组:tuple c. 字典: dict d. 数组: Array e. 切片 f. 列表推导式 g. 浅拷贝和深拷贝" 2. 函数 "a. lambda表达式 b. 递归函数及尾递归优化 c.

来自公众号： 开源中国 链接：https://my.oschina.net/editorial-story/blog/4387164 自上个月严辞拒绝 Intel 安全漏洞相关补丁之后，Linus Torvalds 再次对 Intel 开喷，直言 “我希望 AVX-512 赶紧‘去死’ ”，脾气一如既往的暴躁。 近日，Linux 内核维护者 Linus Torvalds 对 Intel 的 Advanced Vector Extensions 512（AVX-512）指令集提出了一些激进的看法，称其为“功率病毒”，其创建目的单纯只是为了使 Intel 公司的 CPU 硬件在基准测试中跑分更高。此外，Linus 还坦承了自己“脾气暴躁”，并且对 Intel 确实“有偏见”。 AVX-512 是 Intel 公司在 2013 年发布的一套扩展指令集，其指令宽度扩展为 512 bit，每个时钟周期内可执行 32 次双精度或 64 次单精度浮点（FP）运算，专门针对图像 / 音视频处理、数据分析、科学计算、数据加密和压缩和深度学习等大规模运算需求的应用场景。 事情的经过是 Intel 近日曝出了关于下一代 CPU 将采用大小核芯片设计的细节，搭载这项技术的 Alder Lake 系列处理器将于明年正式推出。知名 Linux 技术网站 Phoronix 跟进了这则消息，并透露 Alder

计算机视觉研究院专栏 作者：Edison_G 扫描二维码 关注我们 微信公众号 : 计算机视觉研究院 回复“Anchor Free”获取论文集下载 随着 CVPR 2020和ICCV 2020的结束，一大批目标检测的论文在arXiv上争先恐后地露面，更多的论文都可以直接下载。下面几篇paper有异曲同工之妙，开启了anchor-based和anchor-free的轮回。1. Feature Selective Anchor-Free Module for Single-Shot Object Detection2. FCOS: Fully Convolutional One-Stage Object Detection3. FoveaBox: Beyond Anchor-based Object Detector4. High-level Semantic Feature Detection: A New Perspective for Pedestrian Detection 这几篇论文不约而同地将矛头对准了 Anchor 这个检测里面的基础模块，采用anchor-free的方法在单阶段检测器上达到了和anchor-based方法类似或者更好的效果。 anchor-free和anchor-based区别 这个问题首先需要回答为什么要有anchor。在深度学习时代

来源：遇见数学 近几年，有几个被媒体大肆报道的事件，如下表所示。 如上所示，深度学习作为人工智能的一种具有代表性的实现方法，取得了很大的成功。那么，深度学习究竟是什么技术呢？深度学习里的“学习”是怎么做到的呢？本文我们就来解答一下这个疑问，不过在此之前，我们需要先了解一下神经网络，因为深度学习是以神经网络为出发点的。 神经网络的灵感来源 谈到神经网络的想法，我们需要从生物学上的神经元（neuron）开始说起。从生物学扎实的研究成果中，我们可以得到以下关于构成大脑的神经元知识。 人的大脑是由多个神经元互相连接形成网络而构成的。也就是说，一个神经元从其他神经元接收信号，也向其他神经元发出信号。大脑就是根据这个网络上的信号的流动来处理各种各样的信息的。 神经元示意图 神经元主要由细胞体、轴突、树突等构成。树突是从其他神经元接收信号的突起。轴突是向其他神经元发送信号的突起。由树突接收的电信号在细胞体中进行处理之后，通过作为输出装置的轴突，被输送到其他神经元。另外，神经元是借助突触结合而形成网络的。 让我们来更详细地看一下神经元传递信息的结构。如上图所示，神经元是由细胞体、树突、轴突三个主要部分构成的。其他神经元的信号（输入信号）通过树突传递到细胞体（也就是神经元本体）中，细胞体把从其他多个神经元传递进来的输入信号进行合并加工，然后再通过轴突前端的突触传递给别的神经元。 那么