神经网络

有 1700 名研究者签字联名抵制 Nature 出版一篇 AI 研究论文，这可是头一次。 机器之心报道，参与：泽南、小舟。 「我们敦促审核委员会公开撤销论文通过的决定，并解释评估该论文通过的标准。Springer 需要公开声明谴责使用刑事司法统计数据预测犯罪行为，并承认其过去在激励这种有害学术方面的作用。所有出版商今后都不要发表类似的研究。」 在一份长长的公开信中，数千名 AI 研究人员呼吁科学出版商 Springer Nature 不要发表一篇论文。据介绍，该研究提出了一种面部识别系统，能够预测一个人是否为犯罪分子。这篇论文由美国哈里斯堡科技大学（Harrisburg University of Science and Technology）提交。 是什么研究引发了如此争议？在这篇名为《A Deep Neural Network Model to Predict Criminality Using Image Processing》的论文中，研究人员称该技术没有种族偏见，根据照片中人的面部特征预测是否为罪犯的准确性达到了 80％，这一深度学习方法是面向执法机构开发的。 这篇论文的第一作者，哈里斯堡科技大学在读博士 Jonathan Korn 是一名前纽约警察。同为论文作者的 Roozbeh Sadeghian 教授在论文提交的新闻中表示：

©PaperWeekly 原创 · 作者｜苏剑林 单位｜追一科技 研究方向｜NLP、神经网络 随着 NLP 的发展，像 Word2Vec、Glove 这样的词向量模型，正逐渐地被基于 Transformer 的 BERT 等模型代替，不过经典始终是经典，词向量模型依然在不少场景发光发热，并且仍有不少值得我们去研究的地方。本文我们来关心一个词向量模型可能有的疑惑： 词向量的维度大概多少才够？ 先说结论，笔者给出的估算结果是： 更简约的话可以直接记 ，其中 N 是词表大小，n 就是词向量维度， 是自然对数。当 n 超过这个阈值时，就说明模型有足够的容量容纳这 N 个词语（当然 n 越大过拟合风险也越大）。 这样一来，当 N=100000 时，得到的 n 大约是 96，所以对于 10 万个词的词向量模型来说，维度选择 96 就足够了；如果要容纳 500 万个词，那么 n 大概就是 128。 背景 之所以想起这个问题，是因为昨天在 Arxiv 上刷到了论文 Word2vec Skip-gram Dimensionality Selection via Sequential Normalized Maximum Likelihood [1] ，遗憾的是，从这篇论文中笔者并没有找到想要的答案。顺带搜索了一下，发现也有类似文献研究同样的问题，比如 On the Dimensionality of

作者 | DeepHub IMBA 责编 | 王晓曼 介绍 在过去的几年里，电子竞技社区发展迅速，曾经只是休闲娱乐的电子竞技产业，到2022年有望创造18亿美元的收入。 虽然在这个生态系统中有很多电子游戏，但很少有游戏像《英雄联盟》那样成为社区的主要元素，该游戏在2019年世界锦标赛期间吸引了超过1亿的独立观众。 《英雄联盟》于2009年底发行，是一款免费的多人在线战斗竞技场(MOBA)视频游戏，由 Riot Games 公司开发，这款游戏在早期就产生了广泛的竞争场景，2011年的第一届世界冠军创造了约160万观众。 随着 Riot 开始了解如何改变才能使游戏更具竞争性和趣味性，这款游戏在受欢迎程度和可玩性方面都有所提高。 在《英雄联盟》的比赛中，两队各有五名玩家，每一队都控制着一个独特的角色或“冠军”，当其中一队位于其基地深处的 Nexus 被摧毁时，比赛就会结束。 在这个过程中，一个团队可以实现很多目标，比如摧毁炮塔，杀死中立的怪物，比如龙和男爵，以获得整个团队的增益，等等。 有些目标，如摧毁至少五个炮塔和一个兵营，是赢得游戏所必需的，而其他目标，如获得第一滴血，是有益的，但不是必须的。 通过这个项目，我想更好的了解这些目标中哪一个是赢得英雄联盟游戏最重要的。就此而言，我提出的问题如下: 英雄联盟最重要的获胜条件是什么? 收集数据 我首先申请了一个使用 Riot

　　 　　作者|陈大鑫 　　人工智能不仅要复现人类的大脑，还要构建容纳智能大脑的身体，机器人将是人工智能的完全体。 　　8月7日-8月9日，2020年全球人工智能和机器人峰会（简称“CCF-GAIR 2020”）在深圳如期举办！CCF-GAIR由中国计算机学会（CCF）主办，雷锋网、香港中文大学（深圳）联合承办，鹏城实验室、深圳市人工智能与机器人研究院协办，以“AI新基建 产业新机遇”为大会主题，致力打造国内人工智能和机器人领域规模最大、规格最高、跨界最广的学术、工业和投资领域盛会。 　　今年CCF-GAIR 2020 的“机器人前沿专场”汇集了来自学术界和产业界的专家、有院士级人物、承担国家级机器人研究项目的大牛以及产研能力兼具、奋斗在机器人商业化一线战场的开拓者。 　　本次专场首先出场的嘉宾是加拿大阿尔伯塔大学终身教授张宏。张宏教授是加拿大工程院院士、IEEE Fellow。曾经担任在温哥华举行的2017年IEEE 世界智能机器人与系统大会（IROS)总主席，最近马上要加入中国南方科技大学电子与电器工程系。 　　迄今为止，张宏教授已在国际顶级期刊及重要会议上发表了将近200余篇文章，涉及机器人操作、多智能系统、视觉检测和视觉导航。张宏教授今天的演讲主题是《移动机器人全局定位技术与方法》。 　　 　　 张宏： 　　大家早上好

【摘要】 本文主要通过两个实际应用案例：一是基于本地 Jupyter Notebook 的 MNIST 手写数据识别；二是基于华为云服务器的 CIFAR-10 图像分类，对开源框架 MindSpore 进行介绍。 犹记得今年的华为开发者大会 HDC 2020 上，一直受人瞩目的深度学习框架 MindSpore 终于开源了。 我之前一直关注 MindSpore，还是挺期待的。MindSpore 是一款支持端、边、云独立/协同的统一训练和推理框架。与 TensorFlow、PyTorch 等流行深度学习框架对标，MindSpore 旨在大幅度降低 AI 应用开发门槛，让人工智能无处不在。 MindSpore 最大的特点就是开发门槛大大降低，提高开发效率，这样可以显著减少模型开发时间。 因此，使用MindSpore的优势可以总结为以下四点： ●简单的开发体验 ●灵活的调试模式 ●充分发挥硬件潜能 ●全场景快速部署 既然开源了，那就赶紧上手，试一试这款开源的 MindSpore 怎么样！本文我将介绍 MindSpore 的安装和上手教程，通过一个简单的图像识别案例来跑完整个 AI 训练和测试流程。 一、MindSpore 的安装 开源框架 MindSpore 的安装方法有很多，可以在 Windows、Ubuntu 上安装，也可以在华为 Ascend 910 上安装

一. 目标检测的发展历程 1. 2001年，V-J检测器诞生，主要用于人脸的检测； 2. 2006年，HOG + SVM的方法出现，主要用于行人的检测； 3. 2008年，rgb大神（记住这个人，后面的R-CNN系列检测算法也是出自他之手）研究出了著名的DPM算法，在深度学习方法成熟之前的很长一段时间里，就是这个算法一直在目标检测中发挥作用； 以上算法是属于传统目标检测的算法，都是基于图像处理和计算机视觉的！ ------------------------------------------------------------------分割线------------------------------------------------ 到了2012年CNN的崛起，开始了深度学习和计算机视觉结合的旅程！ 4. 2013年，出现了Overfeat； 5. 2014年，rgb大神提出了大名鼎鼎的R-CNN检测算法，开始了two-stage的旅程； 6. 2014年，SPPNet诞生； 7. 2015年，R-CNN的快速版Fast RCNN 和 Faster RCNN，以及yolo，yolo的到来标志着one-stage检测算法的开启； 8. 2016年，大家都爱的SSD到来； 9. 2017-2018年，Pyramid Networks，还有Retina-Net。 二.

　　机器之心发布 　　 机器之心编辑部 　　 　　 稀疏化是神经网络轻量化的重要手段，其中细粒度剪枝和结构化稀疏各有利弊。如何取二者之所长，实现更强大的模型压缩能力和端侧加速能力呢？本文将为大家介绍「细粒度结构化稀疏」。 　　前不久，英伟达黄老板从自家烤箱里端出了最新款基于 Ampere 架构的 A100 GPU。跟以往的新产品一样，Ampere 相比上一代产品性能有很大提升，并具备多个重要的新特性，其中之一就是细粒度结构化稀疏。这一特性能够为神经网络提供最多两倍的加速，本文我们就来一探究竟。 　　近年来，深度神经网络在很多领域得到成功应用，但这些网络往往体量巨大，需要很高的计算力和存储空间支持。这使得它们在手机等嵌入式设备中的应用比较困难。神经网络轻量化就是针对这一问题的研究领域。 　　轻量化的常用手段有：网络低精度化、低秩化近似、网络蒸馏、轻量化结构的设计与搜索，以及本文要讲的稀疏化等做法 [1]。 　　 网络稀疏化 　　网络参数稀疏化，简单来讲就是通过适当的方法减少较大网络中的冗余成分，以降低网络对计算量和存储空间的需求。稀疏化可以通过稀疏化约束或权重剪枝等多种方法实现。其中逐元素 (element-wise，亦称细粒度) 稀疏化操作得到的是一个非结构化的网络结构(如下图左)，这一做法通常能够达到较高的参数效率，从而有效地减少模型对存储空间的要求。 　　 　　剪枝单元示意

　　 　　 随着学会的队伍不断发展壮大，分支机构的发展愈发完善，丰富多彩的分支活动与学术分享也频频呈现。疫情期间，CAAI认知系统与信息处理专委会积极倡导学会“疫情防控不放松，学习充电不间断”的理念，邀请年轻学者结合本专委会自身领域研究精选相关文献进行研究与再解读，与大家分享《草莓采摘机器人的果实定位与环境感知》。 　　随着农业智能化发展，机器视觉越来越多的应用于农业之中。近期IEEE Access发表了“Fruit Localization and Environment Perception for Strawberry Harvesting Robots”，文中介绍了一种应用于草莓采摘机器人的机器视觉系统，可以实现草莓定位与环境感知。首先利用深度卷积神经网络对草莓进行检测，然后通过坐标变换、基于密度的聚类方法和位置逼近方法对草莓进行局部定位。环境感知对于农业机器人来说至关重要，保证了机器人与人、目标物体与周围环境之间的安全交互。 　　 1、系统总体设计 　　文中的草莓采摘机器人采用静态采摘，即当机器人处理图像时处于静止状态，处理完成后向机器人控制系统发出指令。因此，当机器人处于静止状态时，机器视觉系统通过相机模块获取的RGB和深度图像实现草莓定位和环境感知计算。 　　所提出的机器视觉系统的整体架构如图1所示。利用实例分割网络R-CNN对草莓、皮带和桌子等目标进行检测。然后

由于良好的可扩展性，随机梯度下降（SGD）的并行实现是最近研究的热点。实现并行化SGD的关键障碍就是节点间梯度更新时的高带宽开销。因此，研究者们提出了一些启发式的梯度压缩方法，使得节点间只传输压缩后的梯度。尽管这些启发式方法在实践中很有效，但它们有时并不会收敛。 本文提出了量化SGD（Quantization SGD，QSGD），它是一类具有收敛保证且在实践中性能良好的压缩模式。QSGD允许用户平滑得权衡通信带宽和收敛时间：节点可以在每轮迭代时调整发送的比特数，代价可能是更高的方差。这种权衡是固有的，因为将其提高到某个阈值会违反信息理论的下限。QSGD在异步情况下保证了凸与非凸目标函数的收敛性，并且可以使用随机方差削减技术扩展。 当在图像识别与语音识别任务上训练深度神经网络时，QSGD显著地降低了端到端的训练时间。 1. Introduction 目前，许多研究者正在研究如何扩展大规模SGD算法。SGD算法的定义如下。令 \(f:\mathbb{R}^n\rightarrow\mathbb{R}\) 是我们要最小化的目标函数。我们可以得到随机梯度 \(\widetilde{g}\) ，即 \(\mathbb{E}[\widetilde{g}(x)]=\triangledown f(x)\) 。通过多次迭代，SGD可以收敛到最小值。 \[\boldsymbol{x}_{t+1}=

注意力模型最近几年在深度学习各个领域被广泛使用，无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中，都很容易遇到注意力模型的身影。所以，了解注意力机制的工作原理对于关注深度学习技术发展的技术人员来说有很大的必要。 人类的视觉注意力 从注意力模型的命名方式看，很明显其借鉴了人类的注意力机制，因此，我们首先简单介绍人类视觉的选择性注意力机制。 图1 人类的视觉注意力 视觉注意力机制是人类视觉所特有的大脑信号处理机制。人类视觉通过快速扫描全局图像，获得需要重点关注的目标区域，也就是一般所说的注意力焦点，而后对这一区域投入更多注意力资源，以获取更多所需要关注目标的细节信息，而抑制其他无用信息。 这是人类利用有限的注意力资源从大量信息中快速筛选出高价值信息的手段，是人类在长期进化中形成的一种生存机制，人类视觉注意力机制极大地提高了视觉信息处理的效率与准确性。 图1形象化展示了人类在看到一副图像时是如何高效分配有限的注意力资源的，其中红色区域表明视觉系统更关注的目标，很明显对于图1所示的场景，人们会把注意力更多投入到人的脸部，文本的标题以及文章首句等位置。 深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制类似，核心目标也是从众多信息中选择出对当前任务目标更关键的信息。 Encoder-Decoder框架 要了解深度学习中的注意力模型，就不得不先谈Encoder