深度学习

智源大会2020 聚焦AI的未来，大家都知道， 2010是深度学习的时代， 我们经历了AI从巅峰进入到瓶颈的过程。 那么什么是2020这个十年AI的中心？近一段大家逐步从各个不同的角度切入到这个主题， 比如从相关到因果， 从感知到认知， 重新结合符号主义， 结合脑科学，发展基础数学等， 而2020的智源大会，就是分别从这些不同角度进行跨学科交流的一次盛会。 因果角度 一个当下机器学习界的共识是，机器学习需要从感知过度到认知，但是对于如何引导这次革命，大家的答案是不一样的， 而一个重要的观点在于当下机器没有因果推理的能力。 这次会议有幸请到Jude Pearl， 因果被称为是第二次数学科学革命。 因为对于我们需要回答的大部分问题 ，都密切依赖我们对因果关系的建模， 这些问题包含对行为结果的分析和反事实推理，比如当下如果我要达到目标A, 我如何构建中间条件， 如果我没有做某事今天会怎样（反事实）等。 而这些能力是当下深度学习所不具备的， Jude Pearl的演讲深入浅出的引入了这个问题， 并用几个生动的例子提出了指出一些可能的解决方法。 因果理论的核心，就是do calculus， 它提到我们的模型如果要包含因果，就要能够模拟由行为产生的结果的不同， 这和我们之前物理的mechanic model 是相通的。 你有现象模型可以预测数据，但是这是观测数据的联系

http://www.atyun.com/2257.html Adam优化算法是一种对随机梯度下降法的扩展，最近在计算机视觉和自然语言处理中广泛应用于深度学习应用。在引入该算法时，OpenAI的 Diederik Kingma 和多伦多大学的 Jimmy Ba 在他们的2015 ICLR 发表了一篇名为“ Adam: A Method for Stochastic Optimization ”的论文，列出了使用亚当在非凸优化问题上的诱人好处，如下: 简单直接的实施 计算上讲究效率 小内存要求 不变量对梯度的对角线重新调节 非常适合于数据和/或参数方面的问题 适合非平稳的目标 适用于非常稀梳梯度的问题。 超参数具有直观的解释，通常需要很少的调谐。 Adam 如何工作？ Adam与经典的随机梯度下降法是不同的。随机梯度下降保持一个单一的学习速率(称为alpha)，用于所有的权重更新，并且在训练过程中学习速率不会改变。每一个网络权重(参数)都保持一个学习速率，并随着学习的展开而单独地进行调整。该方法从梯度的第一次和第二次矩的预算来计算不同参数的自适应学习速率。 作者描述Adam时将随机梯度下降法两种扩展的优势结合在一起。 具体地说: 自适应梯度算法(AdaGrad) 维护一个参数的学习速率，可以提高在稀疏梯度问题上的性能(例如，自然语言和计算机视觉问题)。 均方根传播(RMSProp)

3分钟了解今日头条推荐算法原理 今天，算法分发已经是信息平台、搜索引擎、浏览器、社交软件等几乎所有软件的标配，但同时，算法也开始面临质疑、挑战和误解。今日头条的推荐算法，从2012年9月第一版开发运行至今，已经经过四次大的调整和修改。 今日头条委托资深算法架构师曹欢欢博士，公开今日头条的算法原理，以期推动整个行业问诊算法、建言算法；通过让算法透明，来消除各界对算法的误解，并逐步推动整个行业让算法更好的造福社会。 以下为《今日头条算法原理》全文。 今日头条资深算法架构师曹欢欢： 本次分享将主要介绍今日头条推荐系统概览以及内容分析、用户标签、评估分析，内容安全等原理。 一、系统概览 推荐系统，如果用形式化的方式去描述实际上是拟合一个用户对内容满意度的函数，这个函数需要输入三个维度的变量。第一个维度是内容。头条现在已经是一个综合内容平台，图文、视频、UGC小视频、问答、微头条，每种内容有很多自己的特征，需要考虑怎样提取不同内容类型的特征做好推荐。第二个维度是用户特征。包括各种兴趣标签，职业、年龄、性别等，还有很多模型刻划出的隐式用户兴趣等。第三个维度是环境特征。这是移动互联网时代推荐的特点，用户随时随地移动，在工作场合、通勤、旅游等不同的场景，信息偏好有所偏移。结合三方面的维度，模型会给出一个预估，即推测推荐内容在这一场景下对这一用户是否合适。 这里还有一个问题

　　人工智能从 1956 年达特茅斯会议诞生以来，理论和技术发展迅猛。特别是在这波 AI 浪潮中，深度学习的崛起带领 AI 在产业领域的应用范围不断扩大。目前，人工智能已成为新一轮科技革命和产业变革的重要驱动力量，将对对未来人类社会生活带来深刻改变。 　　在 AI 技术高速发展的近几年，开源开放也成为了开发者社区的主流趋势，推动着整个技术的前进。在 AI 开发的过程中，我们已经习惯了开源框架、开源算法库、开源模型代码的存在，这也大大提高了 AI 开发者们学习、使用 AI 技术的效率。 　　 　　为了展现人工智能领域的开放与创新，助力 AI 社区的发展，机器之心在今年的 WAIC 开发者日上就特设了「开源开放 Demo Day」环节，集中展示人工智能领域优秀的开源开放项目。 　　这次，我们邀请到包括中科院智能人脸画板算法、深度学习开源项目 TensorLayer、基于深度强化学习的 AI 游戏引擎 Delta、腾讯优图推断框架 TNN 在内的 7 个项目来做 demo，分享精彩内容，欢迎大家关注。 　　WAIC 开发者日「开源开放 Demo Day」将于 7 月 10 日 19:00—22:00 在线上举行，具体展示项目如下，欢迎大家添加文后的机器之心小助手（syncedai4）好友，加入交流群，一起看直播。 　　 Demo 一：智能人脸画板的算法与实现 　　 　　讲师简介：高林

　　一、背景 　　利用业内数据构建知识图谱是很多客户正在面临的问题，其中中文命名实体识别（Named Entity Recognition，简称NER）是构建知识图谱的一个重要环节。我们在与客户的交流中发现，现有的NER工具（比如Jiagu）对于特定领域的中文命名实体识别效果难以满足业务需求，而且这些工具很难使用自定义数据集训练。因此客户迫切想使用业内最先进的算法在行业内数据集上进行训练，以改进现有NER工具的不足。本文将介绍如何使用Amazon SageMaker运行基于TensorFlow的中文命名实体识别。 　　命名实体识别，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。命名实体识别是信息提取、问答系统、句法分析、机器翻译、知识图谱等应用领域的重要基础工具。 　　英语中的命名实体具有比较明显的形式标志（即实体中的每个词的第一个字母要大写），所以实体边界识别相对容易，任务的重点是确定实体的类别。和英语相比，中文命名实体识别任务更加复杂，而且相对于实体类别标注子任务，实体边界的识别更加困难。 　　二、中文命名实体识别算法 　　NER一直是自然语言处理（NLP）领域中的研究热点，从早期基于词典和规则的方法，到传统机器学习的方法，到近年来基于深度学习的方法，NER研究进展的大概趋势大致如下图所示。 　　 　　早期的命名实体识别方法基本都是基于规则的

模型名称 基本原理 特点 局限性 协同过滤 根据用户的行为历史生成用户-物品共现矩阵，利用用户相似性和物品相似性进行推荐 原理简单、直接，应用广泛 泛化能力差，处理稀疏矩阵的能力差，推荐结果的头部效应明显 矩阵分解 将协同过滤算法中的共现矩阵分解为用户矩阵和物品矩阵，利用用户隐向量和物品隐向量的内积进行排序并推荐 相较协同过滤，泛化能力有所增强，对稀疏矩阵的处理能力有所增强 除了用户历史行为数据，难以利用 其他用户、物品特征及上下文特征 逻辑回归 将推荐问题转换成类似CTR预估的二分类问题，将用户、物品、上下文等不同特征转换成特征向量，再按照预估CTR进行排序并推荐 能够融合多种类型的不同特征 模型不具备特征组合能力，表达能力较差 FM 再逻辑回归的基础上，再模型中假如二阶特征交叉部分，为每一维特征训练得到相应特征隐向量，通过隐向量的内积运算得到交叉特征权重 相比逻辑回归，具备了二阶特征交叉能力，模型的表达能力有所增强 由于组合爆炸问题的限制，模型不易扩展到三阶特征交叉阶段 FFM 在FM模型的基础上，加入“特征域”的概念，使每个特征在与不同域的特征交叉时采用不同的隐向量 相比FM，进一步加强了特征交叉能力 模型的训练开销达到了O(n2)的量级，训练开销较大 GBDT+LR 利用GBDT进行“自动化”的特征组合，将原始特征向量转换成离散型特征向量，并输入逻辑回归模型

全力开火AI的百度，究竟开价多少钱？ 曾几何时，我们对百度的认知，就是一家做搜索引擎的互联网公司，并且劣迹斑斑。然而近几年，李彦宏正在声势浩大地把人工智能的标签贴到百度上。2014 年，李彦宏说服吴恩达加入百度，开始转型 AI，并向全球宣布吸引人才的“少帅计划”—— 百万年薪，上不封顶。 尽管后来的事情我们都知道：陆奇来，吴恩达去，陆奇走。李彦宏重金招来的人才纷纷出走和创业……但百度全部产品线 AI 化的趋势已经不可逆转。就连“魏则西事件”中被网友批得体无完肤的百度贴吧，都开始被 AI 改造——图像算法研发、推荐架构研发、推荐算法与策略，招聘网站随便一搜就有一大把相关职位。 百度2018年AI岗位薪酬 薪资结构：一般是12+0.6+2=14.6薪； T5 以上为关键岗位，另外有股票、期权； T5、T6 占比最大的级别，T8、T9 占比最小； 级别越高，每档之间的宽幅越大。 那么，AT究竟开价多少钱？ AI人才在市场上呈现出严重的供需不平衡的状态，一个人同时被四五家一线互联网企业或是明星独角兽争夺是常态，这意味着哪怕是初级机器学习工程师，都将呈现疯抢状态，而显然各家 HR 都认为这笔钱花得划算，从侧面也说明AI人才的抢手程度。 阿里2018年AI岗位薪酬： 薪资结构：一般是12+1+3=16薪； 年底的奖金为0-6个月薪资，90%人可拿到3个月； 股票是工作满2年才能拿，第一次拿50

数据团队联合起来！Databricks Spark+AI 峰会倒计时！2020年6月22-26日 Spark + AI 峰会虚拟环境 个性化仪表盘 建立日程 Dev Hub + Expo 峰会任务和商店 Spark + AI2020峰会注册 选择门票类型（免费、VIP） 付费培训 免费培训（已售完） 付费认证 Spark 大数据商业实战第二版新书发布 编辑推荐 内容简介 作者简介 新书目录 第二版前言 第一版前言 第二版网购链接 新书资讯 Spark + AI2020峰会现在是虚拟和免费的!六月22-26日即将到来，激动人心！ 更多主题、更多演讲者、更多的训练，全世界上更多的数据社区将比以往任何时候都要参加Spark+AI 峰会！ Databricks公司将峰会转变为一个完全虚拟的活动，确保为您提供尽可能多的亲身体验——但是在一个完全虚拟的环境中。 在过去的两个月里，Databricks公司举办了一场会议，将数据团队聚集在一起，共召开220多个会议，有无数机会与同行交流——超过50,000名数据科学家、数据工程师、分析师、商业领袖和其他数据专业人士。 Spark + AI 峰会虚拟环境 Databricks 虚拟平台将于6月18日发布，但这里将为您先睹为快。一旦平台启动，请确保先建立议程和个人资料，以充分利用您的会议体验。 个性化仪表盘 当您进入会议时，将受到个性化仪表盘的欢迎

　　 　　文 | 丛末 　　编 | 贾伟 　　一堆木柴加上一根火柴，能得到什么？人类会自然而然地得出答案：火。然而对于机器而言，这并不容易，因而它们缺乏这种常识推理能力。 　　人工智能要变得像人一样聪明，常识推理能力是其必备的能力之一。 　　这，迄今为止已是一个困扰了人工智能 50 多年的难题。 　　当下，随着人工智能界对该问题的日益重视和研究上的不断精进，现在是否迎来“破局”了呢？ 　　大家可能最先想到的就是OpenAI 于去年初发布的GPT-2，但很遗憾，它在常识上的表现尚且比较“生涩”。 　　 　　发布之初，GPT-2这个具有15亿参数的通用语言模型，一时引起了轰动——成为《经济学人》第一个被采访的人工智能系统，《纽约客》也专门为它做了一篇特写。该模型生成的句子流畅度惊人，几乎可以假乱真，以至于OpenAI 公开表示，担心它太过优秀带来隐患而没有将模型完全公开。 　　不过，以批判人工智能炒作闻名的人工智能研究者Gary Marcus 对于GPT-2所呈现出来的“优秀”不以为然。 　　对此，去年10月份的一个夜晚，他对GPT-2进行了一次突击测试，在 GPT-2中输入了以下内容： 　　 当你把引火柴和木头堆在壁炉里，然后往里面扔几根火柴时，你一般是要...... 　　如果系统足够聪明，会很轻易地想到“fire（生火）”这个词，然而GPT-2的回答是：“ick”。再一次的尝试后

今年的ISCA中有一个Tutorial[2]和三篇论文[3-5]，直接和推荐系统的加速有关。以此为起点，本文讨论一下如何加速推荐系统这个问题。推荐系统的优化和加速是一个系统性问题。本文主要围绕Facebook的一些分析和工作，后续可能进行更多的讨论。 我们每打开一个App或者访问一个网站，呈现在我们面前的内容有很大的可能就是推荐系统工作的成果。它们都是推荐系统基于用户和“商品”的各种信息（特征），对用户动作进行预测后推送给我们的。和搜索引擎根据明确的搜索请求返回结果不同，推荐系统是主动去”猜“用户”想要什么“，能够在”信息过载“的情况下，推送最合适的内容，这是一个好的推荐系统能够给用户带来的最大的价值。 而对”商品“提供者来说，推荐系统的价值和重要性也是不言而喻的。引用王喆老师的《深度学习推荐系统》[6]中的例子，2019年天猫”双11“的成交额是2684亿元，而天猫的推荐系统实现了首页商品的个性化推荐，其目标是提高转化率和点击率。假设推荐系统进行了优化， 整体的转化率提高1%，那么增加的成交额大约就是26.84亿 。有这么明确的收益，我们不难想象互联网巨头优化推荐系统的动力。另一个例子是，在ISCA的tutorial[2]中，百度的同学介绍他们为什么在广告推荐系统中使用一个巨大的模型（10TB）而不能进行压缩的时候，给出的原因就是，尝试压缩后的模型会 导致0.1%左右的AUC