监督学习

目录 机器学习是什么 ML和AI 机器学习分类 监督学习 无监督学习 增强式学习RL 算法一览 相关资料 机器学习是什么 ML和AI 把所有的数据和地图都采集了给系统，处理不了突发的事件，所以传统的方法不行，可以采用机器学习的方法或思想，先给自动驾驶系统一些数据，让它学习。 机器学习分类 监督学习 样本的特征，还应有判定的结果。 学习的模型可以用来预测 无监督学习 哪些衣服种类比较相近 在训练集中没有数据标签,没有答案 通过聚类后得到 增强式学习RL 我们人类做事有点像增强学习，如果做错了受惩罚后，后面就不犯相同的错误了 算法一览 值是连续值还是离散的 一般连续的值对应回归 而离散的对应分类 很多应用都是有监督的学习，这样我们也比较放心 对一般的情况做一个总结 相关资料 来源： oschina 链接： https://my.oschina.net/u/4333555/blog/4315251

　　 　　作者 | 青暮、陈大鑫 　　编辑 | 丛 末 　　SIGIR是一个展示信息检索领域中各种新技术和新成果的重要国际论坛，若非疫情影响，今年本定于中国西安市举行。7月25日-7月30日，第43届SIGIR2020在线上举行。 　　7月27日，2018年图灵奖得主Geoffrey Hinton带来了主题为《The Next Generation of Neural Networks》的讲座。讲座由约克大学信息技术学院正教授Jimmy Huang主持，ACM杰出科学家、 吉林大学人工智能学院常毅教授担任嘉宾。 　　在讲座中，Hinton指出： 人工神经网络最重要的未解难题之一，是如何像大脑一样有效地进行无监督学习。 　　当前有两种主要的无监督学习方法： 　　第一种方法，以BERT和变分自编码器为例，使用了深度神经网络来重建其输入。这种方法对于图像来说是有问题的，因为网络的最深层需要对图像的精细细节进行编码。 　　第二种方法是Becker和Hinton在1992年提出的:当给定相同图像的两个不同片段作为输入时，训练深度神经网络的两个副本以产生具有高互信息的输出向量。设计此方法的目的是使表征形式不受输入无关细节的束缚。 　　Becker和Hinton使用的优化互信息的方法存在缺陷（出于一个微妙的原因，讲座中会解释），因此Pacannaro和Hinton将其替换为判别性目标函数

行业热词解释 机器学习基本术语 假如我们有一组天气数据，是来自全世界不同国家和地区的每日天气，内容包括最高温度、最低温度、平均湿度、风速之类的相关数据，例如数据的一部分是这样的： 城市 最高温度 最低温度 相对湿度 某时刻风速 A市 36℃ 28℃ 58% 16.7km/h B市 28℃ 17℃ 86% / C市 34℃ 29℃ 39% 20.4km/h 在这组数据中，我们将称A市、B市、C市等市以及其情况的总和称为 数据集 （data set）。表格中的每一行，也就是某城市和它的情况被称为一个 样例 （sample/instance）。表格中的每一列（不包括城市），例如最高温度、最低温度，被称为 特征 （feature/attribute），而每一列中的具体数值，例如36℃ 、28℃，被称为 属性值 （attribute value）。数据中也可能会有 缺失数据 （missing data），例如B市的某时刻风速，我们会将它视作缺失数据。 如果我们想预测城市的天气，例如是晴朗还是阴雨天，这些数据是不够的，除了特征以外，我们还需要每个城市的具体天气情况，也就是通常语境下的结果。在机器学习中，它会被称为 标签 （label），用于标记数据。值得注意的是，数据集中不一定包含标签信息，而这种区别会引起方法上的差别。我们可以给上述示例加上一组标签： 城市 天气 A市 晴朗 B市 阴雨 C市

　　今天是2020年3月13日星期五。不知不觉已经在家待了这么多天了，从上一节EM算法开始，数学推导越来越多，用mathtype码公式真的是太漫长了。本来该笔记是打算把《统计学习方法》这本书做详细的解读，起初面对书里大量的数学推导，感到非常恐惧。假期“空窗”时间不少，才有了细嚼慢咽学习的机会。其实很大的原因是自己掌握的东西太少，知道的算法太少，所以才对这本书恐惧。买了一直放着不愿意学。现在到隐马尔可夫模型，再有一章条件随机场，监督学习部分就结束了。这一个月来，最大的收获是知道了“怎么学”。 　　新的章节抛出一个新的算法模型，往往丈二和尚摸不着头脑，什么都是新的。越是拖延进度越慢，更不能一口吃个胖子指望看一遍就能懂。书读百遍，其意自见，一遍不懂就再看一遍，一遍有一遍的收获。但这个过程千万不要盯着一本书看，一定要多找博客，多看知乎、CSDN，保持审视的态度，保留自己的见解。另外，我是喜欢直接看文字，实在不懂了才去翻视频看，觉得这种模式挺适合我。 　　学到第十章，发现书中的很多东西，没必要面面俱到，要适当的取舍和放过。因为毕竟这本书不是一次性消耗品，是值得深究和研习的。第一次不懂的东西，完全可以学习完所有章节，建立大的思维格局后，再重新考虑小细节。 　　接下来的所有章节，从例子出发，引入各个概念；手写推导过程；图解算法流程；最后实现代码。掰扯开来，其实也就是三个问题：该模型是什么样子的

本文重点介绍了下小样本学习方法(FSL)演变过程以及MAML和度量学习的区别所在。 小样本学习一般会简化为N-way K-shot问题，如图[1]。其中N代表类别数量，K代表每一类中(支持集)的样本量； 图[1] N-way K-shot 解决分类问题，人们最先想到的是采用传统监督学习的方式，直接在训练集上进行训练，在测试集上进行测试，如图[2]，但神经网络需要优化的参数量是巨大的，在少样本条件下，几乎都会发生过拟合； 图[2] 传统监督学习 为了解决上述问题，人们首先想到的是通过使用迁移学习+Fine-tune的方式，利用Base-classes中的大量数据进行网络训练，得到的Pre-trained模型迁移到Novel-classes进行Fine-tune，如图[3]。虽然是Pre-trained网络+Fine-tune微调可以避免部分情况的过拟合问题，但是当数据量很少的时候，仍然存在较大过拟合的风险。 图[3] Pre-trained网络+Fine-tune微调 接下来讲的就是小样本学习中极具分量的Meta-learning方法，现阶段绝大部分的小样本学习都使用的是Meta-learning方法。Meta-learning，即learn to learn，翻译成中文是元学习。Meta-learning共分为Training和Testing两个阶段，Training阶段的思路如图

近日，清华大学大数据研究中心机器学习研究部开源了一个高效、简洁的迁移学习算法库 Transfer-Learn，并发布了第一个子库——深度领域自适应算法库（DALIB）。 机器之心报道，编辑：魔王，作者：清华大学大数据研究中心。 清华大学大数据研究中心机器学习研究部长期致力于迁移学习研究。近日，该课题部开源了一个基于 PyTorch 实现的高效简洁迁移学习算法库：Transfer-Learn。使用该库，可以轻松开发新算法，或使用现有算法。 项目地址： https:// github.com/thuml/Transf er-Learning-Library 目前，该项目发布了第一个子库——领域自适应算法库（DALIB），其支持的算法包括： Domain Adversarial Neural Network (DANN) Deep Adaptation Network (DAN) Joint Adaptation Network (JAN) Conditional Domain Adversarial Network (CDAN) Maximum Classifier Discrepancy (MCD) Margin Disparity Discrepancy (MDD) 领域自适应背景介绍 目前，深度学习模型在一部分计算机视觉、自然语言处理任务中超越了人类的表现

文章主要问题是解决少样本学习，灵感来自actor-critic增强学习，但可以应用于增强和监督学习。核心方法是学习一个meta-critic——神经网络的行为价值函数，学习去评判解决特殊任务的actor。对于监督学习，相当于一个可训练的任务参数损失发生器。对于增强学习和监督学习，这种方法提供了一种知识迁移途径，可以处理少样本和半监督条件。 来源： oschina 链接： https://my.oschina.net/u/4390260/blog/4474135

点击上方“ 3D视觉工坊 ”，选择“星标” 干货第一时间送达 今天分享的是： 深度学习领域基于图像的三维物体重建最新方法及未来趋势综述。 原文： Image-based 3D Object Reconstruction: State-of-the-Art and Trends in the Deep Learning Era 论文下载：https://arxiv.org/abs/1906.06543 摘要 ： 三维重建是计算机视觉计算机图形学和机器学习等领域几十年来一个不适定问题。从2015年开始使用CNN解决基于图像的三维重建（image-based 3D reconstruction）有了极大的关注并且展示出强大的性能。在新时代的快速发展下，我们提供了这一领域详细的调研。本文章专注于从RGB图像估计三维物体形状的深度学习方法。除此之外我们还回顾了关于特定物体（如人脸）的近期研究。我们一些重要论文性能的分析和比较，总结这一领域的现有问题并讨论未来研究的方向。 本文是深度学习做三维重建的一篇综述 对自2015年以来本领域的149个方法做详尽的回顾 深入分析深度学习三维重建的各个方面，包括训练集，网络架构选择以及重建结果，训练技巧和应用场景 总结对比了普遍的三维重建算法（88种），本文还包含了三维人脸重建算法（11种），人体形状重建算法（6种方法） 问题陈述和分类 假设 为物体

在上文中，我简单地介绍了机器学习以及ML.NET的相关知识，从本讲开始，我会基于一个简单的案例：学生成绩预测，来介绍使用ML.NET进行机器学习以及API部署的基本过程。 学生成绩预测案例 本案例的数据来源为加州大学尔湾分校的机器学习公开样本数据集，数据介绍页面和下载地址为： https://archive.ics.uci.edu/ml/datasets/Student+Performance 。该数据集包含了来自两所学校的学生的问卷调查结果，以及每位学生的综合成绩。数据集为CSV格式，每个字段的含义在官网上都有详细介绍，因此，在这里就不再赘述了。 确定问题类型 我们的任务很简单，就是基于这套已有的学生问卷调查结果以及综合成绩，进行机器学习模型训练，然后，再根据一套给定的学生情况信息，来预测该名学生的综合成绩。不难发现，我们需要使用监督学习中的回归算法来进行模型训练，因为我们需要得到一个连续的预测值，而不是离散的二元或者多元值。在确定了我们的任务之后，就可以对得到的数据集进行一些预处理，以便机器学习的过程能够顺利进行。 数据预处理与数据分析 在得到训练数据集之后，通常不能直接拿来进行机器学习，需要对数据进行一些处理。数据预处理任务大致有： 数据格式规整化：对每一列的数据进行类型和单位统一，比如，“浓度”字段有些行使用的是ug/mL，有些行使用的是g/L，需要对单位进行统一，并将

最近很多人问我： “最后80多天，我还来得及吗？” 完全来得及！ 为什么最后80天还来得及 可能有的人会不相信： 为什么最后80天来得及 ？ 01 你的时间还够！ 工作日每天学习3-5个小时，还有10个周末，以及国庆假期（利用好了，国庆假期相当于一个月）， 这个时间是完全够的 ！如果学习能力稍差，那就准备从0冲刺一到两门，如果学了1门-2门了，那就冲刺3-4门！ 02 CPA是一个过关型考试 CPA是过关型考试！过关型考试是重要的不是分数而是过关率， 考试的核心不是说一定要60分，而是超越你旁边的人 ，这个是法考和CPA的考试套路。而CPA的到考率基本在 30% 左右，其中过关的人数在 15% 左右，所以只需挤进去就可以。 03 冲刺的学习效果反而更好 我经常说，CPA考试就是一场马拉松。从我们2月开课到10月考试，这是差不多8-9个月的时间，8个月一直高强度学习，没有几个人受得了！ 但是现在80天，也就是3个月，我们可以开始高强度的冲刺 ，偶尔休息一下，这没有问题！所以这个时间点特别好！ 往年我认识的考生里，有 很多人7月才开始、然后一年过5-6科的，我这里放两篇经验贴 ： 7月还没有开始学，来得及吗？（过关学员分享） ​ mp.weixin.qq.com 432.25分，一战一次过6科，CPA是送给30岁的我最好的礼物 ​ mp.weixin.qq.com 现在开始学