深度学习

导读：本文是“深度推荐系统”专栏的第十篇文章，这个系列将介绍在深度学习的强力驱动下，给推荐系统工业界所带来的最前沿的变化。本文主要根据RecSys 2019中论文《Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches》总结的最近三年四大顶会深度推荐系统上的18个最新算法。 欢迎转载，转载请注明出处以及链接，更多关于深度推荐系统优质内容请关注如下频道。 知乎专栏： 深度推荐系统 微博： 深度传送门 公众号：深度传送门 今年RecSys 2019上出现的一篇极具批判性的论文《Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches》。灵魂一问深度学习是否在推荐系统已经取得了足够可信的进展？在知乎上也引起了激烈的讨论： 如何看待RecSys 2019上的一篇文章认为现有DNN-based推荐算法带来的基本上都是伪提升？ 作者总结了过去三年四大顶会（KDD、SIGIR、WWW和RecSys）推荐系统上18个最新算法，只有7个能重现效果。而且在不同的测试数据集上它们与浅层经典方法效果对比中经常都败下阵来

线性回归方法一般只做回归分析，预测连续值等，而我们的任务是分类任务时该怎么办呢？下面我们讲一下最基本的分类方法，也就是逻辑回归方法(Logit regression)。逻辑回归又称为对数几率回归，它将线性回归的输出又进行了一个特殊的函数，使其输出一个代表分类可能性的概率值，这个特殊的函数称作sigmoid函数，如下式所示： 该函数的函数图像如下图所示： 图6 sigmoid函数 Sigmoid函数在机器学习乃至深度学习中占有很重要的地位，因为它具有以下几个良好性质： 单调可微，具有对称性 便于求导，sigmoid函数的导数满足： 定义域为 ,值域为 ，可以将任意值映射到一个概率上 将现行回归的输出值通过sigmoid函数，可以得到： 将上式稍作变形，可以得到： 可以看出，逻辑回归实际上就是用线性回归拟合 函数，但为什么逻辑回归能用于分类问题呢？由sigmoid函数的性质，我们可以做出假设：预测标签为第一类的数据概率为 ， 预测为第二类的概率为 。 即 ： 现在预测的概率知道了，我们可以通过极大似然估计(Maximum Likelihood Estimate, MLE)来估计参数 ，使得每个样本的预测值属于其真实标签值的概率最大。这时，极大似然函数也是我们的损失函数： 其中， 为所有待优化参数， 为关于参数 和样本特征 的sigmoid函数， 为样本数目。 为了直观展示逻辑回归的功能

百度云智能运维负责人 曲显平 本文是根据百度云智能运维负责人曲显平10月20日在msup携手魅族、Flyme、百度云主办的第十三期魅族技术开放日《百度云智能运维实践》演讲中的分享内容整理而成。 内容简介：本文主要从百度运维技术的发展历程、如何做智能运维、故障管理场景、服务咨询场景和面对的挑战等几个方面介绍了百度云智能运维实践。 百度运维技术的三个阶段 第一阶段：基础运维平台 2008年~2012年 2008年，在百度运维部建立之前，还没有一个标准而统一的运维平台。例如，搜索、广告、贴吧都有各自的运维平台。 存在的问题： 技术和平台能力无法复用，业务之间需要交互时比较复杂。 解决方法： ①为帮助业务解决问题，我们把各个分散在不同业务的运维平台整合起来做成一套标准化运维平台； ②有了统一运维平台后，运维部门内的角色就分为了两个，即标准的运维工程师和运维平台研发工程师。 第二阶段：开放的运维平台 2012年~2014年 第一阶段仍然存在的问题： ①个性化需求很多，统一平台很难全部解决 ②PaaS出现之后，运维平台和PaaS的关系 解决方法： ①开放运维平台，即全部API化。 ②通过提供标准化的监控数据的采集、计算、报警能力，最基础的程序分发、数据分发、任务调度能力，解决自身平台的需求。 ③利用PaaS方法，把一些研发的技术平台和运维技术平台整合在一起，解决重复造轮子的问题。 第三阶段

哇！今天挺开心的，30天的时间，19篇文章，2459人阅读，5313人次阅读！今天开通的原创标识，恩！除了激动，就是非常感谢大家的支持！ 感谢大家的支持！ 大家的支持！ 的 支持！ 支持！ 持！我会继续努力的！我们一起进步！(./鞠躬！） ***** ** *** *** *****分割线 ********** *** ** *** 在学习TensorFlow之前，先给大家安利一波其他的几个库，主要有caffe，CNTK，keras，Theano，Torch，MaxNet。 总的来说，Caffe，CNTK这类是基于配置文件来定义模型，而Torch，Theano，Keras，TensorFlow是基于语言来定义模型。其中Torch是基于lua，一个比较小众的语言，不过也有了Python版。基于Python的有Theano，TensorFlow，Keras。Theano是和TensorFlow最像的一个，应该说TensorFlow是受到了Theano的启发而开发的，他们都是利用了tensor张量的思想。但是Theano是由LISA lab基于学术目的而开发的一套底层算法库，而TensorFlow是由google支持的。他俩主要区别还在于TensorFlow支持分布式编程。 下面有些网址可能打不开，这不是说链接无效~，而是需要“翻墙”，我觉得肯定有人不知道怎么办，就像我刚听说的时候

本篇是论文Wide & Deep Learning for Recommender Systems的阅读笔记，这是谷歌的一篇发表在2016的论文。 ABSTRACT 对于解决regression和classification问题，有两类方法，一种是wide的一种是deep的。wide，通常是linear model，输入特征很多，带有能够实现非线性的交叉特征（所以wide。）。deep，主要就是基于神经网络的模型啦。 任何事情都有两面性，有利就有弊。wide的模型有什么好处呢？特征之间是如何相互作用的，是一目了然的，也就是可解释性好。缺点呢？特征工程很费劲，而且历史数据中没有的模式是学不到的。deep的模型有什么好处呢？更加general，可以学到一些没见过的特征组合（因为是基于对query和item做embedding的）。缺点呢？过分general了，可能会推荐出一些不相关的东西。 这篇论文提出的模型，就是把wide的模型和deep的模型融合到一起，让两种模型相互制约，取两种模型的优点。 如何融合？如何联合训练？为什么效果比单独的linear model或者deep model效果好。是这篇论文最值得研究的点。 这篇论文还从工程的角度，描述了如何部署，这也是值得学习借鉴的。 INTRODUCTION 这个部分作者进一步解释了abstract中提到的几个点。 One

本文为阅读论文 Wide & Deep Learning for Recommender Systems 时记下的笔记。 背景 推荐系统给出的结果需要兼顾相关性和新颖性。推荐的内容和用户特征很匹配，就会推荐大量相关内容，时间一久，用户感到无新鲜感。推荐内容过于泛化，用户的兴趣无法满足。本文提出的算法用于 Google Play 的 APP 推荐系统。 线性模型 线性模型中各类特征常采用 one-hot 向量表示，比如“国家”属性，可取的值有 200 多个，要表示“国家”就采用一个 200 多个维度的向量，每一个国家占一个维度。类似地，其他属性也这样表示。如此以来，对某个事物的向量表示，就是拼接各个属性对应的 one-hot 向量，整个向量表示是非常稀疏的。 国家：[0 0 0 1 0 0 ...] 性别: [1 0] 用户安装过的 APP，可以有多个，采用 bag-of-word 表示，每个维度表示一个 APP 是否安装。 APP: [0 0 1 0 1 0 0 ...] 不同的特征之间可以进行组合，比如将国家和性别属性组合，可以表示如“中国男性”这样的组合属性。特征的组合能够给线性模型增加非线性的特征。但是也会极大地增大特征维度。 线性模型的使用的特征向量具有维度高、稀疏的特点。线性模型的形式如下： $$ y = \mathbf{w}^T\mathbf{x} + b $$

Wide & Deep算法解决的问题 在推荐系统中LR算法应用的非常广泛，但是LR是一种线性模型，没法学到特征交叉（高阶组合特征），为了解决这个问题，在实际中我们常常需要做特征工程提取高阶特征，一种常用的做法就是求特征的cross-product，如（“gender=female” and “language=en”）。但是在推荐系统中我们一般回对离散特征进行one-hot编码得到高维稀疏特征，也就是说许多特征组合在训练数据中可能从来没有出现过，模型没法学的这部分组合特征的权重。 深度学习+embedding可以不依赖人工特征学到高阶特征，但是容易过度泛化。 本文提出Wide & Deep模型，结合了LR和deep model的优点，旨在使得训练得到的模型能够同时获得记忆（memorization）和泛化（generalization）能力： 记忆（memorization）即从历史数据中发现item或者特征之间的相关性。 泛化（generalization）即相关性的传递，发现在历史数据中很少或者没有出现的新的特征组合。 在推荐系统中，记忆体现的准确性，而泛化体现的是新颖性。 Wide & Deep模型结构 模型表达式： wide模型输入： 原始输入特征和交叉特征。 deep模型输入： 原始输入特征 来源： oschina 链接： https://my.oschina.net/u

1.深度学习框架 Pytorch https://github.com/pytorch/pytorch PyTorch 是一个 Torch7 团队开源的 Python 优先的深度学习框架，提供两个高级功能： ● 强大的 GPU 加速 Tensor 计算（类似 numpy） ● 构建基于 tape 的自动升级系统上的深度神经网络 ● 你可以重用你喜欢的 python 包，如 numpy、scipy 和 Cython ，在需要时扩展 PyTorch。 2.deepfake 的深度学习技术 Facewap https://github.com/deepfakes/faceswap deepfake 的深度学习技术，这款工具本来的用途是用来识别和交换图片、视频中人物脸部图像的工具 。该项目有多个入口，你需要做的事： ● 收集照片 ● 从原始照片中提取面部图像 ● 在照片上训练模型 ● 使用模型转换源代码 3.神经网络库 keras https://github.com/keras-team/keras Keras 是一个极简的、高度模块化的神经网络库，采用 Python（Python 2.7-3.5.）开发，能够运行在 TensorFlow 和 Theano 任一平台，好项目旨在完成深度学习的快速开发。 特性： ● 可以快速简单的设计出原型（通过总模块化、极简性、和可扩展性） ●

授权自AI科技大本营（ID：rgznai100) 本文 约4500字 ，建议阅读 9 分钟 本文介绍基于机器学习和深度学习的文本分类。 文本分类是自然语言处理中最基本而且非常有必要的任务，大部分自然语言处理任务都可以看作是个分类任务。近年来，深度学习所取得前所未有的成功，使得该领域的研究在过去十年中保持激增。这些文献中已经提出了许许多多的算法模型、基准数据集一集评测指标，因此需要一个对这个领域进行全面而且跟进趋势的调查。这里我们介绍基于机器学习和深度学习的文本分类，主要内容来自北航、伊利诺伊大学等学者联合发表论文 A Survey on Text Classification: From Shallow to Deep Learning。 本文通过回顾文本分类领域自1961年到2020年以来的历年SOTA模型来填补这类综述研究的空白，聚焦于从浅层学习到深度学习的各种模型。根据文本分类任务所涉及的文本数据来源、特征提取的方法以及分类模型的不同进行分类对比研究。随后，将讨论每一个类别的详细情况，其中涉及到给预测和测试提供可信支撑的技术变迁以及基准数据集。这项调查对不同模型之间的性能优劣进行了全面比较，而且指出了各种评测指标的优缺点。 最后，对各种算法模型的核心精髓、未来的研究趋势以及该研究领域面临的挑战进行了提炼总结。 1、文本分类 文本分类流程 在许多自然语言处理（NLP）下游任务中

图片来源：Pixabay 来源 公众号“机器之心” CASP14 组织者、年近七旬的 UC Davis 科学家 Andriy Kryshtafovych 在大会上感叹道，I wasn't sure that I would live long enough to see this（我活久见了）[1]。 11 月 30 日，一条重磅消息引发了科技界所有人的关注：谷歌旗下人工智能技术公司 DeepMind 提出的深度学习算法“AlphaFold”破解了出现五十年之久的蛋白质分子折叠问题。 最新一代算法 AlphaFold 2，现在已经拥有了预测蛋白质 3D 折叠形状的能力，这一复杂的过程对于人们理解生命形成的机制至关重要。 DeepMind 重大科研突破的消息一出即被《自然》、《科学》的新闻栏目争相报道，新成果也立刻获得了桑达尔 · 皮查伊、伊隆 · 马斯克等人的祝贺。 科学家们表示，Alphafold 的突破性研究成果将帮助科研人员弄清引发某些疾病的机制，并为设计药物、农作物增产，以及可降解塑料的“超级酶”研发铺平道路。 “这是该研究领域激动人心的一刻，”DeepMind 创始人、首席执行官德米斯 · 哈萨比斯说道。“这些算法今天已经足够成熟强大，足以被应用于真正具有挑战性的科学问题上了。” 蛋白质对于生命至关重要，它们是由氨基酸链组成的大型复杂分子，其作用取决于自身独特的 3D