深度学习

来源 | 数据实战派 转载自：AI科技评论 原文链接： Hinton最新访谈：无监督胶囊网络、对比学习以及大脑中的反向传播 ​ mp.weixin.qq.com Geoff Hinton 是公认的深度学习先驱。2018 年，他与 Yoshua Bengio、Yann LeCun 共同获得了图灵奖。而在这之前的一年，他提出了一个想法 —— 胶囊网络（Capsule Network）。这是卷积神经网络的替代方案，它考虑了物体在 3D 世界中的姿势，尝试弥补当今计算机视觉模型学习能力上的不足，比如学会从不同的角度来识别同一个物体。 从那之后， Hinton 在学术界的公开活动有所沉寂。直到2020 年 12 月，在 NeurIPS 上，他的团队介绍了一项堆叠式胶囊自动编码器（stacked capsule autoencoders）相关的研究成果。更早之前 2 月的 AAAI 会议上，他谈到，胶囊网络是无监督学习的关键。4 月，Hinton 又重新提出了将反向传播作为人类大脑中的一种学习功能，并介绍了近似反向传播的算法 ——用活动差异表示神经梯度（neural gradient representation by activity differences，简称 NGRAD）。 近日，在播客节目 Eye on AI 中，受到播客主理人、纽约时报资深记者 Craig Smith 的邀请

官方最新中文教程！课程代码全开源～多位百度工程师联合授课、七位核心开发者全程答疑。 真保姆级零基础深度学习教程 《深度学习7日打卡营_极速入门特辑》将于2月3日— 2月10日 免费 开放！ 课程报名渠道 ： 扫码关注【 飞桨 】公众号，回复【 开源神器 】，加入课程qq群 （直播提醒、课程答疑在这里哦）， 每晚 20:30—21:30 直播授课～ 本课程内涵深度学习神器高层API使用教程，使用高层API后，在同一个深度学习任务中，原始的训练代码需要57多行代码才能完成，使用高层API后，仅用18行代码即可实现相同的功能。 神器高层API 会贯穿课程全程，可使学习成本减半、开发效率飙升、分分钟让你技术提高好几个level～ 在7天中，你将直接跳过冗长的理论、复杂的调试，快速掌握深度学习任务的通用套路，能够独立完成模型搭建、训练及部署，能解决面试中最常被问到的深度学习任务，理论实战双丰收。 另外，通关即可获得 官方认证结业证书 ，赢取机械键盘、小度在家、小度音箱、 飞桨 超大鼠标垫、全24节气冰箱贴、新春立体剪纸贺卡、百度网盘会员、牛帽子的小度熊、锦鲤尾巴的小度熊、鳄鱼脑袋的小度熊等有点实用有点可爱的 奖品 ～ 课程大纲 Day1、深度学习任务解析与高层API用法 Day2、基于resnet的十二生肖分类任务详解 Day3、深度学习CV进阶：人脸关键点检测 Day4

在这个移动互联网时代，不管是位置分享、搜索周边还是路线规划都需要对用户进行定位，获取用户所在的位置，而这些操作都离不开定位服务。然而当大家在分享位置时，往往会出现因为建筑遮挡导致路径偏移、位置定位不准确的情况。华为定位服务的SuperGNSS技术正为大家解决这一难题，致力为大家提供更便捷精准的定位服务。 在介绍SuperGNSS技术原理之前，先给大家解释一个名词——城市峡谷。从这张图可以看出，随着城市里的高楼越来越高、越来越密集，当我们抬头看的时候，只能看到一片天或者是一线天，这种以街道切割周围稠密建筑街区而形成的人造峡谷就称为城市峡谷。著名的例子如中国香港九龙与中环地区、美国纽约曼哈顿等全球一百多个城市都有这样的现象。 那么，在城市峡谷的场景下，卫星定位为什么不准确呢？原因是卫星信号从天上传播到手机里的时候，会因为建筑遮挡发生信号路径的反射，在这个图上蓝色的路径是经过一次反射到了手机里，黄色的比较严重是经过二次反射到了手机里的。 其实，在实际城市的密集街道信号场景中，大多数信号都是通过非直线路径并且多次反射才到了手机里，这就使我们的卫星定位会产生五十米至两百米的偏移。 比如使用打车类应用的时候，当大家站在十字路口发起打车，定位往往不能精确的获取到大家的位置，本来你在十字路口的东北角，定位却定在了西南角，这时司机就无法找到你的真实位置；还有在使用生活类应用的时候

作者：Matthew Ward 翻译：陈之炎 校对：陈丹 本文 约5000字 ，建议阅读 10+ 分钟 本文为你带来贝叶斯统计的基础示例及全面解释。 图：Unsplash，Chris Liverani 贝叶斯统计这个术语最近被广泛使用。它常用于社交场合、游戏和日常生活中，如棒球、扑克、天气预报、总统选举投票等。 在许多科学领域，可以用贝叶斯统计来确定粒子物理和药物有效性实验的结果，它还可用于机器学习和人工智能，以预测你想看什么新闻故事或观看什么Netflix节目。 不管是否对它有充分的理解，贝叶斯统计已融入了我们的日常生活当中，为此，笔者想通过本文对贝叶斯统计做全面的解读，通过一个详尽的例子来展示这个术语的含义。一旦你理解了这个例子，那么便基本上理解了贝叶斯统计。 首先，在读本文之前，假设读者事先对Bayes定理有所熟悉，愿意把公式当成一个黑匣子的读者，也不成问题。如果需要复习一下贝叶斯定理的话，可以到 Medium resources（https://towardsdatascience.com/bayes-theorem-the-holy-grail-of-data-science-55d93315defb）中查找相关资源。 示例和原始观察 这是教科书中经常用到的一个经典例子，我是十多年前在John Kruschke的《DoingBayesian Data Analysis:

日前，由又拍云举办的大数据与 AI 技术实践｜Open Talk 杭州站沙龙在杭州西溪科创园顺利举办。本次活动邀请了有赞、个推、方得智能、又拍云等公司核心技术开发者，现场分享各自领域的大数据技术经验和心得。以下内容整理自个推资深算法工程师令狐冲现场分享： 令狐冲（花名），个推资深算法工程师，目前负责个推深度学习相关研发工作，对 AI 算法有深入的了解及丰富的实践经验，擅长将大数据分析与深度学习神经网络相结合，为业务落地输出算法产品化能力。 大家好，我是来自个推的令狐冲，今天主要分享大数据中的异常值检测和实战应用，围绕研究背景、异常值检测方法、异常检测实战应用等话题，结合相关实战数据介绍异常值检测算法的最新进展情况。 研究背景 异常值检测是大数据分析中一个重要的研究方向，实时异常值自动检测有助于运营人员快速发现系统异常问题。我们常说的异常值通常是相对于正常值来表述的，要结合实际业务来讲一个值是否正常，也就说这是一个业务描述。如果我们要解决一个业务问题，首先要做的就是将这个问题数学化，将业务描述转化为数学描述，这样你才可以使用适合的算法或使用其他分析方法来解决。 对于异常值而言，从数学上看可以看做一个离群点。当然在实际业务中，考虑到业务的结合情况不同，有些异常值看似是离群点，但是从全局业务上看也可能是一个正常值。具体情况需要结合结果来分析，不过我们大致可以使用离群点来代表异常值。

本文中的闪图复制自北岭加州州立大学（California State University, Northridge） 网页 https://www. csun.edu/~vcpsy00h/crea tivity/define.htm 注：文末附交流群，最近赶ACL，比较忙，很多同学加了没有回过期了，可以重新加一下，备注好的一定会回复，敬请谅解。 这是我在1993年写给一名学生的信，内容涉及他的论文初稿。2003年，我修改了一下这封信，删除了与该学生相关的具体内容，并将修改后的这封信作为对所有研究生的额外知识要求。 I wrote this in 1993 as a letter to a student concerning a draft of his dissertation. in 2003 I edited it to remove some specific references to the student and present it as a small increment to the information available to my grad students. --spaf 先让我以一些看似显而易见的事情开始。Let me start by reviewing some things that may seem obvious: 第一

来源： 利维坦 树突（红色）神经元的分支过程，接收突触信息的突出棘的渲染，以及来自小鼠大脑皮层的饱和重建（多色圆柱体）。© Lichtman Lab at Harvard University 利维坦按： 关于大脑，你可以用这句话来自问：你 凭什么 觉得自己可以理解它呢？你或许会回答说：凭大脑。即，凭借大脑来理解大脑。但问题是，这两个“大脑”的信息匹配度或许存在很大差异。这就如同文中博尔赫斯那篇关于帝国地图的精妙描述：所有地图的绘制之所以能够以比例成图，就在于忽略掉了现实的很多细节，可试想，如果真要绘制一幅 囊括一切 细节 的地图，那么这张地图无疑与真实国度的比例相同了。 同理，鉴于我们目前对于脑内的这坨物质理解十分有限，所以，如何再描述“理解”可谓十分重要了。也许，未来人类对于人脑的理解可以非常接近我们的人脑地图“比例”，但，无限接近也仅仅是无限接近。 在去年秋天一个寒冷的夜晚，紫红的太阳缓缓坠落，我坐在哈佛大学郊外的办公室里，透过落地窗凝视着窗外的虚无，思考着关于老鼠大脑的数据集。 与此同时，我回想起波士顿市中心那些没有窗户的冰冷房间，那里的高性能计算中心存储着我宝贵的48TB数据。作为博士实验的一部分，我用了13万亿个字节来记录数据，并研究 老鼠大脑的视觉皮层是如何对运动做出反应的 。 如果将数据集按双倍行距打印出来，需要1160亿张纸。但当我写完关于这些数据的故事时

这是一门新的课程——在学习了算法、框架等内容后，是时候深入了解一下「机器学习系统设计」了！ 机器之心报道，作者：蛋酱。 近日，斯坦福大学宣布开设一门全新课程：CS 329S《机器学习系统设计》。 课程主页： https:// stanford-cs329s.github.io / 这门课程的主讲人、计算机科学家 Chip Huyen 也在推特上认真宣传了一波（很多人应该都读过她的博客文章，因为这位小姐姐确实很有名气）。 机器学习系统设计的概念是指，为了满足特定要求，针对机器学习系统对软件体系架构、基础架构、算法和数据进行定义的过程。虽然现有的系统也可以满足大部分模型搭建的需求，但我们必须承认：首先，工具空间是不断革新的；其次，业务需求是不断变化的；最后，数据分布也是持续更替的。因此，「系统」是很容易过时的。如果不能及时更新，那么出错、崩溃都是可以预料的。这也是本门课程开设的初衷。 本门课程旨在为现实中的机器学习系统提供一个迭代框架，该框架的目标是构建一个可部署、可信赖、可扩展的系统。首先要考虑的是每个 ML 项目的利益相关者及目标，不同的目标则需要不同的设计选择，且要考虑如何权衡。 课程涵盖了 从项目界定、数据管理、模型开发、部署、基础架构、团队架构到业务分析的所有步骤 ，在每个步骤中，都会探讨不同解决方案的动机、挑战和局限性。在课程的最后一部分，将会探讨机器学习生产生态系统的未来

3.6 激活函数 3.7 为什么需要非线性激活函数？ 3.8 激活函数的导数 参考文章： sigmoid函数求导过程 https://blog.csdn.net/zhangyingjie09/article/details/82180199 Tanh激活函数及求导过程 https://blog.csdn.net/qq_35200479/article/details/84502844 3.9 神经网络的梯度下降法 3.10 （选修）直观理解反向传播 3.11 随机初始化 为什么不能将权重W初始化为零？因为这样做的话，同一隐层的每个节点的值将始终保持相同，失去了使用多个节点的意义（模型将过于简单，而难以有所作为） 来源： oschina 链接： https://my.oschina.net/u/4350591/blog/4924776

作者｜Sergei Ivanov 来源｜机器之心 由于 GNN 在图节点之间强大的建模功能，使得与图分析相关的研究领域取得了突破。本文我们将介绍关于 GNN 热门应用研究。 近年来，由于图结构的强大表现力，用机器学习方法分析图的研究越来越受到重视。图神经网络（GNN）是一类基于深度学习的处理图域信息的方法。由于其较好的性能和可解释性，现已被广泛应用到各个领域。 在本文中，机器学习研究科学家 Sergei Ivanov 盘点一下 2021 年需要了解的 GNN 应用热点，涵盖了推荐系统、组合优化、计算机视觉、物理 / 化学以及药物发现等领域。 推荐系统 图结构数据是来自用户与电子商务平台上产品交互的上下文中，因此，许多公司采用 GNN 进行产品推荐。一个标准的案例是对用户于商品的交互关系进行建模，然后以某种形式的负采样损失学习节点嵌入，并使用 KNN 索引实时检索给定用户的相似商品。首批使用这种 pipeline 的公司是 Uber Eats，该公司通过 GraphSage 网络推荐食品和餐馆。 此外，对于食品推荐，由于推荐的地理限制，生成的图相对较小，但一些公司在数十亿个边缘的规模上成功使用了 GNN。中国零售业巨头阿里巴巴在拥有数十亿用户和产品的网络上使用图嵌入技术和 GNN。构建这样的图可能是工程上的噩梦，但是对于最近的 Aligraph pipeline 而言