监督学习

大纲： 算法分类 有监督学习与无监督学习 分类问题与回归问题 生成模型与判别模型 强化学习 评价指标 准确率与回归误差 ROC曲线 交叉验证 模型选择 过拟合与欠拟合 偏差与方差 正则化 半监督学习归类到有监督学习中去。 有监督学习大部分问题都是分类问题，有监督中的分类问题分为生成式模型和判别模型。 分类问题常用的评价指标是准确率，对于回归问题常用的评价指标是回归误差均方误差。 二分类问题中常为它做ROC曲线。 过拟合通用的解决手段是正则化。 算法分类： 监督信号，就是样本的标签值，根据知否有标签值将机器学习分类为有监督学习、无监督学习、半监督学习。 有监督学习与无监督学习： 有监督学习分两个过程：训练和预测。 预测根据输入样本(x,y)，训练出一个模型y=f(x)来预测新的样本的标签值。 无监督学习：聚类和数据降维。 数据降维是为了避免维数灾难，高维数据算法处理起来比较困难，数据之间具有相关性。 强化学习： 是从策略控制领域诞生出来的一种算法，它根据环境数据预测动作，目标是最大化奖励值。 分类问题与回归问题： 有监督学习分为分类问题和回归问题，如判断一个水果的类别就是分类问题，根据个人信息预测收入就是回归问题。 分类问题： R n -->Z，把n维向量映射为一个整数值，该值对应一个分类。 人脸检测就是而分类问题，图像中某个位置区域是人脸还是不是人脸。

文章主要问题是解决少样本学习，灵感来自actor-critic增强学习，但可以应用于增强和监督学习。核心方法是学习一个meta-critic——神经网络的行为价值函数，学习去评判解决特殊任务的actor。对于监督学习，相当于一个可训练的任务参数损失发生器。对于增强学习和监督学习，这种方法提供了一种知识迁移途径，可以处理少样本和半监督条件。 来源： https://www.cnblogs.com/xxdk/p/11925786.html

分类问题 以下均以二分类问题为例，即 \(Y=\{1, -1\}\) , \(y = \mathop{sign}(f(x_i; \theta))\) 0-1损失 \[L_{0-1}(f, y) = I(fy \leq 0)\] 非凸、非光滑，难以优化 Hinge损失函数 0-1损失的一个代理函数，是0-1损失相对紧的上界，称为合页损失函数 \[L_{hinge}(f, y) = \max\{0, 1-fy\}\] 在 \(fy=1\) 处不可导，因此不能用梯度下降优化，而是用次梯度下降 Logistic损失函数 0-1损失的代理函数，凸上界 \[L_{logistic}(f, y) = \log_2 (1 + \exp (-fy))\] 处处光滑，可用梯度下降。但对所有样本点都有惩罚，因此对异常值更敏感 交叉熵损失函数 0-1损失函数的代理函数，光滑凸上界 \[L_{cross \ entropy} (f, y) = -\log2(\frac{1+fy}{2})\quad f \in [-1, 1]\] 回归问题 对于回归问题，有 \(y = f(x_i;\theta)\) 平方损失函数 \[L_{square}(f, y) = (f - y)^2\] 光滑函数，能用梯度下降，但对异常点敏感 绝对损失函数 \[L_{absolute}(f, y) = |f - y|\]

本问转自： https://ask.julyedu.com/question/7681 ，详情请查看原文 —— 前言 ：如何把CNN与GAN结合？DCGAN是这方面最好的尝试之一，DCGAN的原理和GAN是一样的，这里就不在赘述。它只是把经典GAN中的G和D换成了两个卷积神经网络（CNN）。但是，并不是直接替换就可以了， DCGAN 对卷积神经网络的结构做了一些改变，以提高样本的质量和收敛的速度。具体有哪些改变，将在本文中看到。 摘要 近年来，深度卷积神经网络（CNN）的监督学习在计算机视觉应用上发挥巨大的作用，然而CNN的非监督学习只受到较少的关注。在这项工作中我们希望有助于缩小CNN在监督学习和非监督学习成功的差距。我们提出了一种叫做深度卷积生成对抗网络的CNN，它具有一定的结构约束，展示了其在非监督学习方向上强有力的候选方案。通过在各种各样的图像数据集的训练，我们展示了令人信服的证据，我们的深度卷积对抗对（adversarial pair）从对象到场景在生成模型和判别模型上都能够学习到层级的表示。此外，我们在一些的新的任务上使用学习到的特征表明它们一般的图像表示上具有通用性。 引言 从大量未标记数据集中学习可重复使用的特征表示已经成为一个热门研究区域（been an area，一个地区，区域）。在计算机视觉背景下

用深度卷积生成对抗网络进行无监督表示学习 摘要 近年来，监督学习的卷积网络（ CNN ）在计算机视觉应用中有着广泛的应用。相比之下，无监督的卷积网络 CNN 学习受到的关注较少。在这项工作中，我们希望可以帮助缩小有监督学习的 CNN 和无监督学习的 CNN 成功之间的差距。我们介绍了一类 CNN 叫做深度卷积生成对抗网络（ DCCNG ），它具有一定的架构约束，表明它们是非监督学习的有力候选。对各种图像数据集进行训练，我们展示出令人信服的证据，证明我们的深层卷积对抗从对象部分到发生器和判别器中的场景学习了层次结构的表示。此外，我们使用学习的功能进行新颖的任务 - 证明适用于一般图像的表示 1. 前言 从来自大型的未标记的数据集学习可重用的特征表示一直是一个热门的研究领域。在计算机视觉的背景下，可以利用实际上无限量的未标记的图像和视频来学习良好的中间表示，然后可以将它用在各种监督学习任务上，如图像分类。 我们提出了一种建立好的图像表示的方法是通过训练生成对抗网络（ GAN ）（ Goodfellow 等人， 2014 ），并随后重用发生器和判别器网络的部分作为用于监督任务的特征提取器。 GAN 为最大似然技术提供了一个有吸引力的替代方法。另外还可以争辩说，他们的学习过程和缺少启发式的代价函数（比如像素方式的独立均方差）对于表示学习来说是存在吸引力的。我们知道 GAN

版权声明：本文为博主原创文章，转载请注明出处。 https://blog.csdn.net/liuxiao214/article/details/73500737 </div> <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-3019150162.css"> <div id="content_views" class="markdown_views prism-atom-one-dark"> <!-- flowchart 箭头图标 勿删 --> <svg xmlns="http://www.w3.org/2000/svg" style="display: none;"> <path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path> </svg> <p>论文原文：<a href="https://arxiv.org/pdf/1511.06434.pdf" rel="nofollow" data-token=

原地址：https://zhuanlan.zhihu.com/p/91762831 作者：韩旭、高天宇、刘知远 （欢迎转载，请标明原文链接、出处与作者信息） 最近几年深度学习引发的人工智能浪潮席卷全球，在互联网普及带来的海量数据资源和摩尔定律支配下飞速提升的算力资源双重加持下，深度学习深入影响了自然语言处理的各个方向，极大推动了自然语言处理的发展。来到2019年的今天，深度学习的诸多局限性也慢慢得到广泛认知。对于自然语言处理而言，要做到精细深度的语义理解，单纯依靠数据标注与算力投入无法解决本质问题。如果没有先验知识的支持，“中国的乒乓球谁都打不过”与“中国的足球谁都打不过”，在计算机看来语义上并没有巨大差异，而实际上两句中的“打不过”意思正好相反。因此，融入知识来进行知识指导的自然语言处理，是通向精细而深度的语言理解的必由之路。然而，这些知识又从哪里来呢？这就涉及到人工智能的一个关键研究问题——知识获取。 知识图谱 现有大型知识图谱，诸如Wikidata、Yago、DBpedia，富含海量世界知识，并以结构化形式存储。如下图所示，每个节点代表现实世界中的某个实体，它们的连边上标记实体间的关系。这样，美国作家马克·吐温的相关知识就以结构化的形式记录下来。 目前，这些结构化的知识已被广泛应用于搜索引擎、问答系统等自然语言处理应用中。但与现实世界快速增长的知识量相比

参考资料(要是对于本文的理解不够透彻，必须将以下博客认知阅读，方可全面了解LR)： (1). https://zhuanlan.zhihu.com/p/74874291 (2). 逻辑回归与交叉熵 (3). https://www.cnblogs.com/pinard/p/6029432.html (4). https://zhuanlan.zhihu.com/p/76563562 (5). https://www.cnblogs.com/ModifyRong/p/7739955.html 一、逻辑回归介绍 　　逻辑回归（Logistic Regression）是一种广义线性回归。线性回归解决的是回归问题，预测值是实数范围，逻辑回归则相反，解决的是分类问题，预测值是[0,1]范围。所以逻辑回归名为回归，实为分类。接下来让我们用一句话来概括逻辑回归(LR): 逻辑回归假设数据服从伯努利分布，通过极大化似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的。 这句话包含了五点，接下来一一介绍： 逻辑回归的假设 逻辑回归的损失函数 逻辑回归的求解方法 逻辑回归的目的 逻辑回归如何分类 二、逻辑回归的假设 任何的模型都是有自己的假设，在这个假设下模型才是适用的。 逻辑回归的第一个基本假设是假设数据服从伯努利分布。 伯努利分布：是一个离散型概率分布，若成功，则随机变量取值1；若失败

讲授决策树的基本概念，分类与回归树的原理，决策树的表示能力，决策树的训练算法，寻找最佳分裂的原理，叶子节点值的标记，属性缺失与替 代分裂，决策树的剪枝算法，决策树应用。 非常直观和易于理解的机器学习算法，最符合人的直观思维，因为生活中很多时候做决策就是用这种树状结构做决定的。 大纲： 基本概念 分类与回归树 训练算法 寻找最佳分裂 属性缺失与替代分裂 过拟合与剪枝 实验环节 实际应用 基本概念： ①树是一种分层的数据结构，家谱、书的目录就是一棵树的结构。 ②树是一个递归的结构，树的每个子节点，以它为根同样是一棵树，所以说树里边的很多算法是用递归来实现的。 有一种特殊的树叫二叉树，每个节点最多只有两个孩子节点，左子节点和右子节点，编程的时候很容易实现，树在编程实现的时候是用指针来实现的，非二叉树预留多少空间存储子节点的指针不好确定，所以编程的时候用的一般是二叉树。 非叶子节点叫做判定节点，叶子节点是决策结果。决策树可以用来做分类，也可以用来做回归。 比如医生看病可能也是用一棵决策树来判定的，这棵判定树的规则是他学习的时候和很多年经验的总结，它的特征向量就是一些体检的指标，如体温、白细胞数量、红细胞数量等等。 整个机器学习和模式识别里边特征分两种类型，一是类别型特征，是不能比较大小的，如是否有房产证，二是数值型特征，是可以比较大小的，如收入多少。 决策树整个判定过程是从根节点开始

机器学习 （一）------分类 机器学习分类 机器学习分为监督学习和无监督学习两类。 监督学习是指在有标记的样本上建立机器学习的模型（这类算法知道预测什么，即目标变量的分类信息）。 无监督学习恰恰相反，是指没有标记的数据上建立学习模型。 主要任务： 分类：主要任务是将实例数据划分到合适的分类中。 回归：例如数据拟合曲线（根据给定数据点的最优拟合曲线），主要用于预测数值型数据。 如何选择合适的算法： 从上表中选择实际可用的算法，要考虑以下两个方面的问题： 1、使用机器学习算法的目的，想要算法完成何种任务； 2、需要分析和收集的数据是什么； 主要了解数据的以下特征：特征值是离散型变量还是连续型变量，特征值是否存在缺失值，何种原因造成的缺失，数据中是否存在异常值，某个特征发生的频率如何等。 使用算法创建应用程序的步骤： （1）收集数据（网络爬虫抽取、从RRS反馈或者API中得到，设备发送的实测数据）； （2）准备输入数据（确保数据格式符合要求）； （3）分析输入数据（人工分析以前得到的数据）； （4）训练算法（将前面得到的格式化数据输入到算法，从中抽取知识或信息；无监督学习没有这一步）； （5）测试算法（使用上一部机器学习得到的知识信息）； （6）使用算法（将机器学习算法转换为应用程序）。 一、K-近邻算法 1、算法概述 简单地说，k-近邻算法采用测量不同特征值之间的距离方法进行分类。