深度学习

去年推荐的机器学习画图模板ML Visuals前几天已经更新，ML Visuals 现在包含了 100 多个可用的自定义图形，可以方便我们在任何论文、博客、PPT 中使用这些资源。伸手党福利好吧！ 我们来看一下几个图，秀一下： 项目地址： https://github.com/dair-ai/ml-visuals ​ github.com 赶紧fork+star吧。 机器学习算法-自然语言处理交流群 已建立机器学习算-自然语言处理微信交流群！想要进交流群进行学习的同学，可以直接加我的微信号： HIT_NLP 。加的时候备注一下： 知乎+学校+昵称 （不加备注不会接受同意，望谅解） ，即可。然后我们就可以拉你进群了。群里已经有非得多国内外高校同学，交流氛围非常好。 推荐阅读 谷歌最新28页高效 Transformer 模型综述 30页少样本学习综述！Learning from Very Few Samples Papers with Code 2020 全年回顾 最新14页《图神经网络可解释性》综述论文 陶大程等人编写！最新41页深度学习理论综述 使用PyTorch时，最常见的4个错误 加拿大蒙特利尔大学助理教授刘邦招收2021/2022年博士生 【EMNLP2020】基于动态图交互网络的多意图口语语言理解框架 一文搞懂 PyTorch 内部机制 AAAI 2021论文接收列表放出!

作者单位：微软，华盛顿大学 (jianfeng gao等人) 论文 Evaluation of Text Generation: A Survey 注：文末附【深度学习与自然语言处理】交流群 NLP领域的生成问题一直就是一个非常火的topic，衍生出了各种细化的问题，如摘要，对话生成，标题生成，代码生成等，任何一个都是一堆研究者关注的问题，但是评价始终是阻挠该方向真正突破的痛点。到底是BLEU好，还是ROUGE好，到最后还是不如人工评价好，难顶啊！ jianfeng gao等人对生成评价问题做了一个58页的详细综述，对这个问题的发展进程，未来趋势做了详细的看法，对这个方向感兴趣的可以了解，这个方向是一个可以出Best paper的方向，奥利给！ 机器学习算法-自然语言处理交流群 已建立机器学习算-自然语言处理微信交流群！想要进交流群进行学习的同学，可以直接加我的微信号： HIT_NLP 。加的时候备注一下： 知乎+学校+昵称 （不加备注不会接受同意，望谅解） ，即可。然后我们就可以拉你进群了。群里已经有非得多国内外高校同学，交流氛围非常好。 推荐阅读 机器学习画图模板ML Visuals更新 谷歌最新28页高效 Transformer 模型综述 Papers with Code 2020 全年回顾 最新14页《图神经网络可解释性》综述论文 陶大程等人编写！最新41页深度学习理论综述

( 这篇博文为原创，如需转载本文请email我： leizhao.mail@qq.com, 并注明来源链接，THX！) 本文主要分享了一篇来自CVPR 2018的论文， A Closer Look at Spatiotemporal Convolutions for Action Recognition 。这篇论文主要介绍了Video Classification、Action Recognition方面的工作，包括2D、3D以及混合卷积等多种方法，最重要的贡献在于提出(2+1)D的结构。 1. Related Work 图1 视频领域深度学习方法发展 在静态图像任务（Object Detection、Image Classification等）中，深度学习的引入产生了巨大影响。但在视频领域，深度网络在引入之初显得有些乏力，于是针对2D网络对视频任务适应性改进的工作开始成为流行。一种思路是保留2D网络用于空间推理，另外通过2D对Optical Flow或者3D对RGB进行时间推理，比如Two-Stream就属于前者，ARTNet属于后者。另一种思路是将2D核换成3D核，直接时空混合卷积，C3D是这种思路的体现。而后的P3D将时空操作分解，ARTNet和FstNet也是出于同样的考虑。I3D另辟蹊径，使得之前的2D网络在视频领域仍然能发挥pre-train的作用。更重要的是

翻译：陈丹 校对：车前子 本文 约5400字 ，建议阅读 15 分钟 本文是一个教授如何优化神经网络模型的基础教程，提供了具体的实战代码供读者学习和实践。 深度学习的神经网络是采用随机梯度下降优化算法对训练数据进行拟合。 利用误差反向传播算法对模型的权值进行更新。优化和权值更新算法的组合是经过仔细挑选的，是目前已知的最有效的拟合神经网络的方法。 然而，也可以使用交替优化算法将神经网络模型拟合到训练数据集。这是一个有用的练习，可以了解更多关于神经网络的是如何运转的，以及应用机器学习时优化的中心性。具有非常规模型结构和不可微分传递函数的神经网络，也可能需要它。 在本教程中，您将了解如何手动优化神经网络模型的权重。 完成本教程后，您将知道： 如何从头开始开发神经网络模型的正向推理通路。 如何优化二值分类感知器模型的权值。 如何利用随机爬山算法优化多层感知器模型的权值。 我们开始吧。 图源土地管理局，权利归其所有 教程概述 本教程分为三个部分：它们是： 优化神经网络 优化感知器模型 优化多层感知器 优化神经网络 深度学习或神经网络是一种灵活的机器学习。 它们是受大脑结构和功能的启发而来的，由节点和层次组成的模型。神经网络模型的工作原理是将给定的输入向量传播到一个或多个层，以产生可用于分类或回归预测建模的数值输出。 通过反复将模型暴露在输入和输出示例中

1、背景介绍 近几年中台的兴起，团队围绕业务中台化这个场景，将我们已有的诸多能力进行解构、重组、积木化，希望能将拆解后的积木进行体系化地串联，从而达到降本增效的目的。 对于电商平台来说，每年都需要面临大量的大促活动页面需求，对于如何提高页面产出效率，大家都不约而同采用「页面可视化搭建」解决方案。对应的，我们也构建了「羚珑可视化页面搭建平台」。但近两年大促活动定制化需求井喷，平台有限的组件模块已无法满足产品运营需求，前端工程师也无法再用「复用」的思想简单地解决问题。当业务发展到一定程度，有限的人力以及冗长的开发流程更是无法满足蓬勃发展的业务需求。 我们需要「求变」，传统的人力密集型研发无法解决的问题，是否能用智能化的思想来解决呢？顺着这个方向，我们把目标瞄准了「前端智能化」，希望借助 AI 和机器学习的能力拓展前端能力圈，打通设计与研发的工作流程，实现规模化生产。 2、项目介绍 Deco 智能代码项目是团队在「前端智能化」方向上的探索，我们尝试从设计稿生成代码（DesignToCode）这个切入点入手，对现有的设计到研发这一环节进行能力补全，进而提升产研效率。 在一个日常需求开发流程中，往往需要遵循固定的一套工作流程，产品提交需求 PRD，交互设计师根据 PRD 输出交互稿，再由视觉设计师输出产品视觉稿，接着再进入前端开发工作流。对于前端工程师来说，输入源是视觉稿 + PRD

深度学习框架如同智能时代的“发电机”，让人工智能技术更快速地普及到各行各业，推动融合创新，成为智能时代最重要的基础设施。PaddlePaddle作为目前国内唯一功能完备的深度学习框架，经过2018年的快速成长，初具模型领先、性能优越、易学易用的技术特色，以及工业场景下的领先优势。下面我们来盘点一下PaddlePaddle 2018年的成长之路。 一、核心发布 1、Paddle Fluid 1.0发布 —— 核心框架走向成熟 7月4日 Paddle Fluid V0.14.0发布——提供从数据预处理到模型部署在内的深度学习全流程的底层能力支持。官方首次开源CV/NLP/语音/强化学习等10个业界领先的模型。 10月12日 Paddle Fluid V1.0稳定版本发布——提供更稳定、向后兼容的API。易用性大幅提升。提供 Mac OS 下的多种安装方式，新增对Python3.5的支持。并开源8个CV、NLP 方向主流模型。 11月1日 Paddle Fluid V1.1发布——支持千亿规模稀疏参数大规模多机异步训练。移动端预测新增Mali GPU、Adreno GPU、FPGA等硬件支持。开源5个推荐领域模型，大幅优化CV、NLP模型的训练速度和显存占用。 12月8日 Paddle Fluid V1.2发布——CPU多机异步训练升级包括worker异步并发和IO、通信优化在内多项功能

写在前面 2019.12.21-12.22，我参加了 2020 全国硕士研究生招生考试初试。后来的结果算是意料之中，没考上，经过自己的一番思考之后，毅然决定毕业后直接工作。在参加 2020 年春招的时候，我写下了一篇文章：我选择直接工作，不读研。 现在是 2020 年 12 月，快接近 2020 年的尾声了。我也有五个月的工作经验了，现在对程序员的工作又有了新的体会与感想。 浅谈国内大学教育环境 说句实话，国内大学学的知识和实际工作相比，真的是小巫见大巫（这里暂且以计算机专业为例，其他专业我不清楚）。 计算机本就是一个重 实践 的学科。而国内大学因为种种原因，大多都教成了只会书本知识，动手能力差，实际项目开发能力弱。这一点，其实大家应该深有体会，懂的都懂。 我自己也属于动手能力差，写代码很菜的那一类。所以我才更加不喜欢这样的教育模式。 读研 or 工作 再来说说计算机专业的学生到底读研还是工作。 我先说下自己的个人看法：如果你对科研感兴趣，有科研的热情，立志想为中国乃至世界计算机领域做出一点科研贡献，那么恭喜你，去读研吧。如果只是想要一个硕士文凭，方便以后好找工作，那还不如现在就工作，早积累几年工作经验。 说句我观察到的事实，其实大部分人选择读研的目的并不是想做科研，而是不想这么早就进入社会。一方面是现在学历通胀的影响，导致只有本科学历确实没什么竞争力，一方面是想再受几年学校这个

一、标签简介 标签概念 标签，最初用来对实物进行分类和标记，例如标明物品的品名、重量、体积、用途等简要信息。后来逐渐流行到数据行业，用来标记数据，对数据快速分类获取和分析。 标签特点 精确描述定位和搜索，具有生命周期的特性，可以计算，配置和规则化处理。可以用标签来描述各种结构和非结构化[文档、图片、视频等]的数据，从而使这些内容被高效的管理。 描述特征：标签[手机颜色]，特征[红色，白色]； 描述规则：标签[活跃用户]，规则[每日登陆，产生交易]； 标签价值 精细运营的基础，有效提高流量精准和效率。 帮助产品快速定位需求数据，进行精准分析； 能帮助客户更快切入到市场周期中； 深入的预测分析数据并作出及时反应； 基于标签的开发智能推荐系统； 基于某类下的数据分析，洞察行业特征； 标签的核心价值，或者说最常用的场景：实时智能推荐，精准化数字营销。 二、标签定义 属性标签 属性标签是描述基本特征，不需要行为产生，也不是基于规则引擎分析，例如基于用户实名认证信息，获取：性别，生日，出生日期等特征。变动频率极小，且精准性较高。 行为标签 通过不同业务渠道埋点，捕捉用户的行为数据，基于这些数据分析，形成结果描述的标签，例如：分析用户「网购平台」，得到的结果拼多多,淘宝,京东,天猫等。这些都是需要通过行为数据来判断的标签。 规则标签 规则下分析出来的标签，更多是基于产品或者运营角度来看

作者丨阿尔法杨XDU@知乎 来源丨https://zhuanlan.zhihu.com/p/266513299 导读 异常检测是一个发现“少数派”的过程，本文将目前深度学习的异常检测的热门研究方向进行了分类，并列举了对应的文章，并推荐了值得一读的8篇新颖论文，帮助大家理解学习异常检测这一领域。 一、简介 异常检测一直是机器学习中一个非常重要的子分支，在各种人工智能落地应用例如计算机视觉、数据挖掘、NLP中，异常检测算法都是很热门的研究方向，特别是大数据时代，人工处理数据的速度已经远远赶不上机器了，所以更快地检测数据中的异常情况成为了我们当下非常重要的任务。在深度学习广泛的推广之前，传统的异常检测算法有很多，例如高斯拟合，半监督学习等等，而在深度学习大火之后，人们也开始研究将深度学习应用于各种异常任务中(也就是Deep Anomaly Detection，以下统称DAD)，并取得了很大的成功，本文将把当下该方向热门的研究方向分类并列举了对应的文章，希望能帮助大家更好地理解此方向的研究。 二、异常检测的概念 异常检测，从定义而言就是一种识别不正常情况与挖掘非逻辑数据的技术，也叫outliers。例如在计算机视觉的应用中，有人在抖音发表一个视屏，在边骑车边打电话，那这就是个不符合规范的视屏，我们能否采用一些方式来将其检测出来，再例如在数据挖掘领域中，那异常检测的应用就更广泛了

翻译：陈丹 校对：车前子 本文 约5400字 ，建议阅读 15 分钟 本文是一个教授如何优化神经网络模型的基础教程，提供了具体的实战代码供读者学习和实践。 标签：神经网络优化 深度学习的神经网络是采用随机梯度下降优化算法对训练数据进行拟合。 利用误差反向传播算法对模型的权值进行更新。优化和权值更新算法的组合是经过仔细挑选的，是目前已知的最有效的拟合神经网络的方法。 然而，也可以使用交替优化算法将神经网络模型拟合到训练数据集。这是一个有用的练习，可以了解更多关于神经网络的是如何运转的，以及应用机器学习时优化的中心性。具有非常规模型结构和不可微分传递函数的神经网络，也可能需要它。 在本教程中，您将了解如何手动优化神经网络模型的权重。 完成本教程后，您将知道： 如何从头开始开发神经网络模型的正向推理通路。 如何优化二值分类感知器模型的权值。 如何利用随机爬山算法优化多层感知器模型的权值。 我们开始吧。 图源土地管理局，权利归其所有 教程概述 本教程分为三个部分：它们是： 优化神经网络 优化感知器模型 优化多层感知器 优化神经网络 深度学习或神经网络是一种灵活的机器学习。 它们是受大脑结构和功能的启发而来的，由节点和层次组成的模型。神经网络模型的工作原理是将给定的输入向量传播到一个或多个层，以产生可用于分类或回归预测建模的数值输出。 通过反复将模型暴露在输入和输出示例中