监督学习

　　 　　编译 | 陈大鑫 　　编辑 | 丛 末 　　首度于线上召开的CVPR 2020 会议已经落下帷幕。今年，大会共有1467篇论文被接收，共举办了29个Tutorial、64个Workshop，线上与会者人数达 7600人。大量的论文，加上今年新采用虚拟会议的形式，曾一度让会议浏览器不堪重负（浏览速度非常慢）。 　　为了让大家更好地掌握今年会议的总体研究趋势，一位深度学习专业的博士生Yassine Ouali 专门撰写了一篇博客，总结了一些引起他关注的论文，以呈现今年会议的大致面貌。 　　 我们先来看下 CVPR 2020 官方的相关统计数据： 　　CVPR 往年的增长趋势仍然继续：作者人数增加了20％，提交论文的数量增加了29％，同时为了适应这种扩张，审稿人和领域主席都有增加 　　 　　今年会议的注册人数共有6424人，相比2019年增加了一千多人。在被接收的1467篇论文中，有335篇 Oral 论文。 　　 　　 　　与去年相似，就接受论文而言，中国是CVPR的第一贡献者，其中来自清华大学的作者数量最多，其次是美国（按国家）和Google（按组织）。 　　 　　不出所料，被接收的论文主题多数集中在与学习、识别、检测和理解有关的主题上。但是，人们对诸如高效标签方法（例如，迁移学习），图像合成和机器人感知等相对较新的领域越来越感兴趣

在介绍两种主流的元学习方法之前，先简要概括下元学习与监督学习的区别。 监督学习： 只在一个任务上做训练； 只有一个训练集和一个测试集； 学习的是样本之间的泛化能力； 要求训练数据和测试数据满足独立同分布； 监督学习的训练和测试过程分别为train和test； 小样本条件下监督学习的过程如图所示。 监督学习过程 元学习： 元学习是面向多个任务做联合训练； 每个任务都有训练集和测试集； 学习到的是任务之间的泛化能力； 要求新任务与训练任务再分布上尽可能一致； 元学习的训练和测试过程分别叫做Meta-train和Meta-test； 小样本条件下元学习过程如下图所示。更多元学习的细节内容可以参见： 小样本学习方法专栏 元学习过程 介绍两种类型的元学习方法 在元学习过程中元学习器Meta-learner是学习过程的重要一环，承接着Meta-train和Meta-test两个阶段。针对元学习器的搭建，近年来主流的方法模型如下图所示。 主流元学习模型 从基于度量和基于优化的角度可以将上述模型分为两大类，基于度量的元学习模型：MatchingNet、ProtoNet、RelationNet等，基于优化的元学习模型：MAML、Reptile、LEO等。下面对上述模型一一的做个简要的介绍： 基于度量的三个元学习模型 基于度量的三个元学习模型的示意图如下图所示： MatchingNet：Support

即使在大数据时代，获取大批量高质量的标注数据在实际中往往成本高昂。半监督学习技术作为一类可以同时有效利用有标签数据和无标签数据的学习范式，有希望大大降低监督任务对于标签数据的需求。本文从 2013 年所提出的 Pseudo-Label 开始，至 2019 年 Google 所提出的 UDA 技术为止， 详细介绍了半监督学习近年来的发展历程 ，重点关注各技术在核心思想、方法论上的演进。文章最后对半监督学习中涉及到的部分关键细节，如领域外数据等问题进行了详细讨论。 关于作者 李渔，熵简科技联合创始人，博士毕业于清华大学电子工程系，以第一作者身份发表学术论文 10 余篇，申请专利 6 项，致力于将先进的自然语言处理及深度学习技术真正落地于金融资管领域，让科技赋能产业。 目前负责熵简科技 NLP 技术中台的建设，包括层次化的分层架构、大数据泛采体系、持续部署的后台支持以及前沿算法的领域内落地等，为熵简科技的各大业务线提供底层技术支持和可落地的解决方案。 个人知乎专栏： https://zhuanlan.zhihu.com/c_1215573707772649472 目录 1. 为什么要了解半监督学习 1.1 什么是半监督学习 1.2 半监督学习有什么用 2. 典型技术方案的演进历程 3. 部分关键细节的讨论 3.1 类别外数据的处理 3.2 一致性正则的数学选择 3.3 错误标记数据的影响

cs224u 基于远程监督的关系抽取 rel_ext_01_task.ipynb __author__ = "Bill MacCartney and Christopher Potts" __version__ = "CS224u, Stanford, Spring 2020" 目录 概述 DeepDive关系抽取 实体链接 处理不确定性 DeepDive 远程监督 关系抽取的任务 手工模式 监督学习 远程监督（Supervised learning） 导入包 语料库 来源： oschina 链接： https://my.oschina.net/u/4385718/blog/4327378

机器如何实现完全自主类人的学习方式？ 道翰天琼认知智能机器人API平台接口为您揭秘。 本文作者来自东北大学，他通过整理自监督学习的一系列工作，把主流方法分成三大类，方便大家更全面的了解自监督学习的定义、方法、用途。 与此同时，文中也穿插着几大主流方法的最新工作进展，现在正在探索自监督学习未来前景研究方向的同学，也不妨借鉴一二，说不定能找到灵感哦~ 1 学习的范式 我们首先来回顾下机器学习中两种基本的学习范式，如图所示，一种是监督学习，一种是无监督学习。 监督学习与无监督学习[1]监督学习利用大量的标注数据来训练模型，模型的预测和数据的真实标签产生损失后进行反向传播，通过不断的学习，最终可以获得识别新样本的能力。而无监督学习不依赖任何标签值，通过对数据内在特征的挖掘，找到样本间的关系，比如聚类相关的任务。有监督和无监督最主要的区别在于模型在训练时是否需要人工标注的标签信息。 无监督学习中被广泛采用的方式是自动编码器（autoencoder）： 深度自编码器[6]编码器将输入的样本映射到隐层向量，解码器将这个隐层向量映射回样本空间。我们期待网络的输入和输出可以保持一致（理想情况，无损重构），同时隐层向量的维度大大小于输入样本的维度，以此达到了降维的目的，利用学习到的隐层向量再进行聚类等任务时将更加的简单高效。对于如何学习隐层向量的研究，可以称之为 表征学习（Representation

目录 主要内容 决策树 信息增益 三种决策树学习算法 决策树的例子 决策树的过拟合 Bootstraping Bagging的策略 随机森林 提升的概念 Adaboost 举例 主要内容 决策树  决策树学习采用的是自顶向下的递归方法，  其基本思想是以信息熵为度量构造一棵熵值下降最快的树，到叶子节点处的熵值为零，  此时每个叶节点中的实例都属于同一类。  有监督学习  建立决策树的关键，即在当前状态下选择哪个属性作为分类依据。根据不同的目标函数，建立决策树主要有一下三种算法。  ID3  C4.5  CART 信息增益 三种决策树学习算法 决策树的例子 决策树的过拟合  决策树对训练属于有很好的分类能力，但对未知的测试数据未必有好的分类能力，泛化能力弱，即可能发生过拟合现象。  剪枝  随机森林 Bootstraping  Bootstraping的名称来自成语“pull up by yourown bootstraps”，意思是依靠你自己的资源，称为自助法，它是一种有放回的抽样方法。  注： Bootstrap本义是指高靴子口后面的悬挂物、小环、带子，是穿靴子时用手向上拉的工具。“pullup by your own bootstraps”即“通过拉靴子让自己上升”，意思是“不可能发生的事情”。后来意思发生了转变，隐喻“不需要外界帮助，仅依靠自身力

3分钟了解今日头条推荐算法原理 今天，算法分发已经是信息平台、搜索引擎、浏览器、社交软件等几乎所有软件的标配，但同时，算法也开始面临质疑、挑战和误解。今日头条的推荐算法，从2012年9月第一版开发运行至今，已经经过四次大的调整和修改。 今日头条委托资深算法架构师曹欢欢博士，公开今日头条的算法原理，以期推动整个行业问诊算法、建言算法；通过让算法透明，来消除各界对算法的误解，并逐步推动整个行业让算法更好的造福社会。 以下为《今日头条算法原理》全文。 今日头条资深算法架构师曹欢欢： 本次分享将主要介绍今日头条推荐系统概览以及内容分析、用户标签、评估分析，内容安全等原理。 一、系统概览 推荐系统，如果用形式化的方式去描述实际上是拟合一个用户对内容满意度的函数，这个函数需要输入三个维度的变量。第一个维度是内容。头条现在已经是一个综合内容平台，图文、视频、UGC小视频、问答、微头条，每种内容有很多自己的特征，需要考虑怎样提取不同内容类型的特征做好推荐。第二个维度是用户特征。包括各种兴趣标签，职业、年龄、性别等，还有很多模型刻划出的隐式用户兴趣等。第三个维度是环境特征。这是移动互联网时代推荐的特点，用户随时随地移动，在工作场合、通勤、旅游等不同的场景，信息偏好有所偏移。结合三方面的维度，模型会给出一个预估，即推测推荐内容在这一场景下对这一用户是否合适。 这里还有一个问题

一、 机器学习基础题 1、LSTM的公式 2、RNN为什么出现梯度消失及BPTT的推导 3、DQN的基本原理么 4、GBDT和随机森林有什么区别 5、GBDT的原理，如何做分类和回归 6、随机森林的随机体现在哪方面 7、Wide &Deep的原理 8、GBDT+LR是怎么做的? 9、DQN模型为什么要做经验回放 10、数据之间如果不是独立同分布的会怎样 11、AUC的原理介绍一下 12、XGBOOst和GBDT的区别。 13、强化学习和监督学习的区别 14、神经网络里面的损失函数有哪些 15、机器学习中常见的激活函数有哪些？为什么通常需要零均值？ 16、DeepFM介绍 17、FM推导 18、boosting和bagging的区别？ 19、bagging为什么能减小方差？ 20、交叉熵损失函数，0-1分类的交叉熵损失函数的形式。什么是凸函数？0-1分类如果用平方损失为什么用交叉熵而不是平方损失？ 21、L1和L2有什么区别，从数学角度解释L2为什么能提升模型的泛化能力。 22、深度学习中，L2和dropout有哪些区别？ 23、L1正则化有哪些好处 24、如果有一万个地理坐标，转换成1-10000的数，可以用决策树么？ 25、CART分类树和ID3以及C4.5有什么区别？ 26、树集成模型有哪几种实现方式：Bagging和Boosting，回答过程中又问到了很多细节

背景 今天介绍下SimCLR，也是Hinton老爷子在今年提出的工作。首先介绍下为什么下一代神经网络需要无监督对比学习。目前整个人工智能行业的落地，其实都依赖于监督学习模式，无论是OCR、ASR、TTS、ImageDetection，如果没有大量的标注，是很难训练出商业化程度的模型的。这个模式需要被打破，因为世界上存在太多的未知场景，完全依赖人肉标注是不行的。 所以未来无监督学习大势所趋。其实在这方面之前已经有了一些工作，比如Bert模型，就可以基于大量的unlabeled数据训练，然后在小数据集上Fintune来取得效果。类似Bert这一类的训练模式叫做自监督学习。这种模式在NLP领域会有比较好的效果，但是在图像领域效果不明显，因为图像的数据表示会比语意复杂得多。 举个简单例子，“喜欢_ _ _ _的人都会关注凡人机器学习”，这句话虽然空了4个字，但是根据上下文不难猜出这4个字是“机器学习”。所以在NLP领域，自监督是比较好实现的。但是在图像方面，假设戴了墨镜，你能根据一个人的鼻子、嘴和耳朵推测出这个人墨镜后面的样子么？所以图像领域的无监督学习要难的多。 SimCLR基本原理 SimCLR使用无监督对比学习模式在图像领域取得了突破性的成果，可以看下在ImageNet数据集的表现。 那SimCLR究竟是怎么实现的呢，我们分步骤介绍下，看下图： 第一步：Augmentation

IT 运维告警现状 目前 IT 运维领域保证服务运行正常的主要方法是对相关运维指标进行实时监控，并根据经验设定一些规则，通过将实时监控的数据与规则进行对比，当某个指标监控值不符合设定的规则时，则判定为异常的状况，这样的话就会发送对应的告警到告警平台。告警平台收到通知后，会分配给对应的运维人员进行处理，运维人员去根据告警信息来排查，最终定位故障的根本原因，并对故障进行修复。从这个流程可以看出，整个过程是以告警为中心，所以告警的质量是至关重要的。 但在实际运维过程中，我们可以发现这个过程中其实存在很多问题。首先，监控系统的规则难以设定。因为规则是基于专家经验设定的，随着系统规模变大，复杂度提高，监控覆盖的完善，监控指标数量指数性增加，指标形态千变万化，基于专家经验的规则设定力不从心，误报率、漏报率居高不下。运维人员可能会遭遇告警风暴，每天被数千个告警轰炸，难以应付。故障发生后，对若干个告警逐一排查找故障根因，效率极低，大大增加故障的恢复时间。故障有可能无法预知，有些本来可以避免的故障还是发生了。 智能化告警的理念和相关技术 为了解决上述问题，在智能运维领域，智能化告警的概念出现了。智能化告警主要解决 4 个问题：一、精准告警，拒绝告警风暴；二、快速故障定位；三、进行故障预测，避免故障发生；四、规则设置自动化，不再通过人工经验来设置规则。 智能异常检测的核心理念是利用机器学习算法