深度学习

　　 　　 大数据文摘出品 　　 作者：刘俊寰、魏子敏 　　当我们在说“神童”时，我们在期待什么？ 　　如果 一个学生连续三年在全国青少年科技创新大赛上都有奖项斩获 ，从初二到高一，分别获得青创奖三等奖、三等奖和一等奖，研究领域横跨物理、计算机和人工智能，似乎“神童”之名名副其实。 　　但是近日，根据澎湃新闻报道， 这位三连获奖的段姓学生疑似存在“造假”行为。 　　根据青创奖此前的报道，段姓学生三次获奖论文分别为，《“水中叉鱼”问题的定量分析和智能优化方法》《无人驾驶的鹰眼-基于深度学习的智能交通标志识别与APP实现》《用蛋清做个元器件―柔性忆阻器及交叉阵列的研究与制备》。 　　其中，段姓学生最近的一篇参赛论文被指出与2019年1月23日申请的一项国家专利《一种光电双控柔性蛋清忆阻器在数据存算一体化中的应用》高度相似，该专利的发明人名为西南大学人工智能学院院长段书凯， 与该学生获奖项目的指导老师同名。 　　不仅如此，在该项专利页面，第三位专利发明者王丽丹为西南大学电子信息工程学院副院长，其 与该段姓学生首次参加青创奖评选时的指导老师也出现了同名情况。 　　目前，该专利页已删除。 　　 　　除此之外，该段姓学生第二次的参赛作品中指出，智能交通标志识别的系统“识别准确度达到99.75%，超过目前最高准确度99.65%”。根据报道，一位985高校计算机视觉方向教授表示，“感觉

　　 　　2020 WAIC·开发者日将于 7月10日-11日 在线上举办，由机器之心与上海交通大学人工智能研究院联合承办，设有主论坛、分论坛、高峰对话、开发者日百度公开课、开源开放Demo Day、黑客马拉松等多个环节，详情日程请参考：请收藏这份大会全日程。 　　为了更好的帮助开发者学习人工智能，我们准备了 220 本人工智能领域专业书籍在大会直播中赠书，包括《统计学习方法》、《深度学习导论》、《大数据智能：数据驱动的自然语言处理技术》等 16 种书籍，来具体看看获取赠书的正确姿势。 　　 如何获得赠书？ 　　2020 WAIC·开发者日所有环节将在大会官方平台直播。其中， 主论坛 与 1v1高峰对话 将在机器之心抖音官方账号上同步直播，我们将在 抖音直播间 的弹幕中抽取 220 位幸运小伙伴，送出书籍。详细参与方法如下： 　　1. 添加机器之心小助手（syncedai6），备注“开发者日”，加入交流群，抽奖时间安排将在群中公布。 　　2. 关注机器之心官方抖音账号：AI1956。 　　3. 观看1v1高峰对话与主论坛，在弹幕上打出想要的「书名」即可参与抽奖。 　　1v1高峰对话直播时间：7月10日20:00-21:00 　　主论坛直播时间：7月11日 13:00-18:15 　　4. 所有书籍将在大会结束后的 20 个工作日内寄出。 　　 你将获得哪些书籍？ 　　 　　

[深度应用]·Keras实现Self-Attention文本分类（机器如何读懂人心） 配合阅读： [深度概念]·Attention机制概念学习笔记 [TensorFlow深度学习深入]实战三·分别使用DNN,CNN与RNN(LSTM)做文本情感分析 笔者在 [深度概念]·Attention机制概念学习笔记 博文中，讲解了Attention机制的概念与技术细节，本篇内容配合讲解，使用Keras实现Self-Attention文本分类，来让大家更加深入理解Attention机制。 作为对比，可以访问 [TensorFlow深度学习深入]实战三·分别使用DNN,CNN与RNN(LSTM)做文本情感分析 ，查看不同网络区别与联系。 一、Self-Attention概念详解 了解了模型大致原理，我们可以详细的看一下究竟Self-Attention结构是怎样的。其基本结构如下 ​ 对于self-attention来讲，Q(Query), K(Key), V(Value)三个矩阵均来自同一输入，首先我们要计算Q与K之间的点乘，然后为了防止其结果过大，会除以一个尺度标度 ​ ，其中 ​ 为一个query和key向量的维度。再利用Softmax操作将其结果归一化为概率分布，然后再乘以矩阵V就得到权重求和的表示。该操作可以表示为 ​ 这里可能比较抽象，我们来看一个具体的例子（图片来源于 https:/

写在前面 首先，祝大家国庆、中秋节快乐，感谢大家对工坊的一路陪伴与支持！近一年来，工坊茁壮成长，以3D视觉为切入点，逐渐成为一个集干货、咨询、学业、工作为一体的技术交流平台！为了回馈那些和工坊一起成长的小伙伴，公众号为大家准备了100份「50元」知识星球优惠券（有效期：10月1日0:00~10月3日23:59），希望更多童鞋能够以较小的成本加入到学习社区中。 什么是知识星球？ 知识星球是一个高度活跃的社区平台，在这里你可以和相同研究方向的小伙伴一起探讨科研工作难题、交流最新领域进展、分享paper资料、发布高质量的求职就业信息，当然还可以侃侃而谈，吐槽学习工作生活。 为什么给大家推荐「3D视觉从入门到精通」知识星球呢？ 下面先简单以几张图片总结星球的主要内容。 这里简单总结星球的主要内容如下： 随着我们队伍的不断壮大，目前星球嘉宾及合伙人，主要包括多个大厂的 计算机视觉算法工程师 、 深度学习算法工程师、 结构光三维重建算法工程师、资深VSLAM算法工程师、3D视觉测量方向的点云后处理资深算法工程师、标定算法工程师以及国内外知名高校博士 等近20多位成员。星球主要关注3D视觉、vSLAM、三维重建、点云处理、立体视觉、结构光、深度学习、计算机视觉和图像处理等方向。日常分享各个领域的最新进展和经典论文，会员可以免费对嘉宾进行技术提问，完成一对一的指导解答，

有 1700 名研究者签字联名抵制 Nature 出版一篇 AI 研究论文，这可是头一次。 机器之心报道，参与：泽南、小舟。 「我们敦促审核委员会公开撤销论文通过的决定，并解释评估该论文通过的标准。Springer 需要公开声明谴责使用刑事司法统计数据预测犯罪行为，并承认其过去在激励这种有害学术方面的作用。所有出版商今后都不要发表类似的研究。」 在一份长长的公开信中，数千名 AI 研究人员呼吁科学出版商 Springer Nature 不要发表一篇论文。据介绍，该研究提出了一种面部识别系统，能够预测一个人是否为犯罪分子。这篇论文由美国哈里斯堡科技大学（Harrisburg University of Science and Technology）提交。 是什么研究引发了如此争议？在这篇名为《A Deep Neural Network Model to Predict Criminality Using Image Processing》的论文中，研究人员称该技术没有种族偏见，根据照片中人的面部特征预测是否为罪犯的准确性达到了 80％，这一深度学习方法是面向执法机构开发的。 这篇论文的第一作者，哈里斯堡科技大学在读博士 Jonathan Korn 是一名前纽约警察。同为论文作者的 Roozbeh Sadeghian 教授在论文提交的新闻中表示：

　　机器之心报道 　　 机器之心编辑部 　　 黄老板的 RTX 30 系列显卡 9 月 17 日就要发售了，现在我要怎么买 GPU？很急很关键。 　　在 9 月 2 日RTX 30 系列发布时，英伟达宣传了新显卡在性能上和效率上的优势，并称安培可以超过图灵架构一倍。但另一方面，除了 3090 之外，新一代显卡的显存看起来又有点不够。在做 AI 训练时，新一代显卡效果究竟如何？ 　　 　　近日，曾经拿到过斯坦福、UCL、CMU、NYU、UW 博士 offer、目前在华盛顿大学读博的知名评测博主 Tim Dettmers 发布了一篇新文章，就深度学习从业者如何选择 GPU 发表了他的看法。 　　众所周知，深度学习是一个很吃算力的领域，所以，GPU 选得好不好直接决定了你的炼丹体验。那么，哪些指标是你在买 GPU 时应该重视的呢？RAM、core 还是 tensor core？如何做出一个高性价比的选择？文本将重点讨论这些问题，同时指出一些选购误区。 　　 　　RTX 3070 打 2080Ti，这是真的吗？不少人已经被这样一张性能对比图「改变了信仰」。 　　 选择 GPU 时你需要知道的东西 　　在选购 GPU 之前，你需要知道一些指标在深度学习中意味着什么。 　　首先是 Tensor Core，它可以让你在计算乘法和加法时将时钟周期降至 1/16，减少重复共享内存访问

给大家看一组最新数据。 2020年最新数据：人工智能、 大数据算法、P ython相关岗位 平均薪资表 为什么人工智能行业的工资那么高？ 无论是科研院所，商业巨头还是初创企业，各行各业都在大力开发或者引进人工智能，由于储备不足，导致人工智能人才现在出现缺口，而且非常巨大。 据领英最近发布的全球AI领域技术人才分布图显示，中国目前的AI人才缺口超过5万人。 人才供不应求，导致领域岗位的薪资也自然水涨船高。 很多人，尤其是应届毕业生和刚参加工作的程序员们，都想在这股 AI 热潮中，凭借实力和简历脱颖而出。然而，很多人在第一关就被 HR 刷掉了，更别说技术面了。 想必大家都知道原因。 目前的人工智能，对于本科生来说并没有深入的AI专业，毕竟这些方向属于高层次的知识，需要一定的基础。虽然由于现在AI热还有工业界对于这方面人才的强烈需求，开始有大学专门开设了AI和数据科学专业， 但是，这些学生毕业出来后所拥有的技能和企业所需的人才标准却是不对等的。 像BAT的人工智能部门；高校人工智能研究相关工作；明星创业公司，比如四小龙，商汤，矿世，科大等。如果你只学过计算机专业，想进入这些公司或者机构并没那么简单，因为你没有实操的项目，你对人工智能没有整体性和深度性的把控和学习。 而且如果你的学校背景不强硬（清华北大中科大等），就更别指望这些公司的offer了。 但这是不是就意味着你没机会了？ 不

　　 　　作者|陈大鑫 　　人工智能不仅要复现人类的大脑，还要构建容纳智能大脑的身体，机器人将是人工智能的完全体。 　　8月7日-8月9日，2020年全球人工智能和机器人峰会（简称“CCF-GAIR 2020”）在深圳如期举办！CCF-GAIR由中国计算机学会（CCF）主办，雷锋网、香港中文大学（深圳）联合承办，鹏城实验室、深圳市人工智能与机器人研究院协办，以“AI新基建 产业新机遇”为大会主题，致力打造国内人工智能和机器人领域规模最大、规格最高、跨界最广的学术、工业和投资领域盛会。 　　今年CCF-GAIR 2020 的“机器人前沿专场”汇集了来自学术界和产业界的专家、有院士级人物、承担国家级机器人研究项目的大牛以及产研能力兼具、奋斗在机器人商业化一线战场的开拓者。 　　本次专场首先出场的嘉宾是加拿大阿尔伯塔大学终身教授张宏。张宏教授是加拿大工程院院士、IEEE Fellow。曾经担任在温哥华举行的2017年IEEE 世界智能机器人与系统大会（IROS)总主席，最近马上要加入中国南方科技大学电子与电器工程系。 　　迄今为止，张宏教授已在国际顶级期刊及重要会议上发表了将近200余篇文章，涉及机器人操作、多智能系统、视觉检测和视觉导航。张宏教授今天的演讲主题是《移动机器人全局定位技术与方法》。 　　 　　 张宏： 　　大家早上好

这里我们介绍梯度下降的基本概念。尽管很少实际中很少用到，但是了解梯度下降有益于理解随机梯度下降算法的关键。例如，由于学习率过高，优化问题可能会有所不同，这在梯度下降中也会出现。同样预处理是梯度下降中的常用技术。我们先从简单的入手。 1 一维梯度下降 一维梯度下降是一个很好的例子，可以用于理解梯度下降算法如何减小目标函数的值。对于连续可微的实值函数 f : R → R f: \mathbb{R} \rightarrow \mathbb{R} f : R → R 。使用泰勒展开公式： f ( x + ϵ ) = f ( x ) + ϵ f ′ ( x ) + O ( ϵ 2 ) f(x + \epsilon) = f(x) + \epsilon f'(x) + \mathcal{O}(\epsilon^2) f ( x + ϵ ) = f ( x ) + ϵ f ′ ( x ) + O ( ϵ 2 ) 也就是说, f ( x + ϵ ) f(x+\epsilon) f ( x + ϵ ) 近似为 f ( x ) f(x) f ( x ) 以及在 x x x 处的一阶导数 f ′ ( x ) f'(x) f ′ ( x ) 之和。假设 ϵ \epsilon ϵ 向梯度相反移动将会减少 f f f 是合理的。为了简化，我们选择固定步长 η > 0 \eta > 0 η > 0 以及 ϵ =

前言 4 月热播的韩剧《王国》，不知道大家有没有看？我一集不落地看完了。王子元子出生时，正逢宫内僵尸作乱，元子也被咬了一口，但是由于大脑神经元尚未形成，寄生虫无法控制神经元，所以医女在做了简单处理后，判断不会影响大脑。这里提到了人脑神经元，它也是 AI 神经网络的研究起源，具体展开讲讲。 人脑中总共有 860 亿个神经元，其中大脑皮层有 160 亿个神经元。大脑皮层的神经元数量决定了动物的智力水平，人的大脑皮层中神经元数量远高于其他物种，所以人类比其他物种更聪明。大象的脑子总共有 2570 亿个神经元，但是其中 98% 的神经元都存在于大象的小脑中，而大象的大脑皮层只有 56 亿个神经元，无法与人类相比。大脑皮层中的神经元数量越大，能耗也越大。人脑每天消耗的能量占人体全部耗能的 25%，这也就是为什么我们每天都要吃多餐，很容易饿的原因。人之所以能够很快超越其他物种，主要是因为人类掌握了烹饪技术，能够在短时间内摄入大量卡路里以支持大脑运转，其他物种则将摄入的卡路里用于维护身体运转，不得不牺牲大脑皮层的神经元数量。 之所以先谈大脑神经元原理，也是为了引出本文的重点–现代 AI 技术。 在正式进入 AI 技术前，我先讲讲软件工程师这份工作，因为现在有很多软件工程师准备转入 AI 行业。 软件工程师 我是软件工程师出身，2004 年刚毕业时我写的是 JSP 代码（一种将 Java