监督学习

　　最近的十几年机器学习很是火热，尤其是其中的一个分支深度学习在工业界取得很好应用，吸引了很多眼球。不过从其历程来看，机器学习的历史并不短暂~从早期的感知机到八十年代火热的神经网络，再到九十年代被提出的经典算法集成学习和支持向量机；而最近的十年算得上是机器学习发展的黄金年代，软、硬件计算条件大幅提高，尤其是现在数据量的爆发式增长让机器拥有充分“学习”的资本，另一方面现在开源项目越来越多，即便一些算法的实现很复杂，我等小白只需要调几个接口也能完成对数据的处理；在这个年代里，不同的人充斥着不同的野心，计算机科学家仍在探索人工智能的奥义，资本、媒体都在热炒机器学习概念，大数据、AI俨然成为宠儿，各行程序员也在茶余饭后有了谈资。盛名之下，其实难副，机器学习、人工智能的发展还处在浅层，特别是深度学习这些被媒体过度炒作的产物，从计算智能到感知智能再到认知智能，前面的路依然很远。长路漫漫，不管怎样，越来越多的人投入这个行业确实对行业本身有很大的发展，特别是可以看出，国内外很多高校的专家学者已经把研究阵地转向工业，不仅仅是因为报酬丰厚，更因为工业界提供了现实场景更丰富的数据，而这些数据让算法拥有很好的施展空间。 　　还记得16年在亚马逊买了一本南大周志华老师的<<机器学习>>，到手之后真的超出了预期，书上面的算法介绍的比较系统，每一章节提到了某个领域的经典算法，后面给出的附录也适合非科班同学看懂

机器学习是非常宽泛的领域，其子领域的划分非常复杂。机器学习算法大致可分为四大类： 1）监督学习 2）无监督学习 3）自监督学习 4）强化学习 一、监督学习 监督学习是最常见的机器学习类型。给定一组样本（通常由人工标注），它可以学会将输入数据映射到已知目标【也叫作标注（annotation）】。 近年来广受关注的深度学习几乎都属于监督学习，如，光学字符识别，语音识别、图像分类和语言翻译。 监督学习主要包括分类和回归，还有很多奇特的辩题，主要包括如下几种： 1） 序列生成（sequence generation） 。给定一张图像，预测描述图像的文字。序列生成又是可以被重新表示为一些列分类问题，比如反复预测序列中的单词或标记。 2） 语法树预测（syntax tree prediction） 。给定一个橘子，预测其分解生成的语法树。 3） 目标检测（object detection） 。给定一个张图片，在图中特定目标的周围画一个边界框。这个问题也可以表示为分类问题（给定多个候选边界框，对每个框内的目标进行分类）或分类与回归联合问题（用向量回归来预测边界框的坐标）。 4） 图像分割（image segmentation） 。给定一张图像，在特定物体上画一个像素级的掩模（mask）. 二、无监督学习 无监督是指在没有目标的情况下寻找输入数据的有趣变换，其目的在于数据可视化、数据压缩

PixelNet: Representation of the pixels, by the pixels, and for the pixels. 图1.我们的框架通过对架构（最后一层）和训练过程（历元）的微小修改，将其应用于三个不同的像素预测问题。 请注意，我们的方法为分割（左），表面法线估计（中）和边缘检测（右）的语义边界恢复精细的细节。 Abstract 我们探索了一般像素级预测问题的设计原理，从低级边缘检测到中级表面法线估计到高级语义分割。诸如全卷积网络（FCN）之类的卷积预测因子通过通过卷积处理利用相邻像素的空间冗余而获得了非凡的成功。尽管计算效率高，但我们指出，由于 空间冗余限制了从相邻像素学习的信息 ，因此这些方法在学习过程中在统计上并不是有效的。 我们证明了像素的分层采样可以使（1）在批量更新过程中增加多样性，从而加快学习速度； （2）探索复杂的非线性预测因子，提高准确性； （3）有效地训练最先进的模型tabula rasa（即“从头开始”）以完成各种像素标记任务。 我们的单一体系结构可为PASCAL-Context数据集上的语义分割，NYUDv2深度数据集上的表面法线估计以及BSDS上的边缘检测提供最新结果。 1.Introduction 许多计算机视觉问题可以表述为密集的逐像素预测问题。 其中包括边缘检测[21、64、94]和光流[5、30、86]等低级任务

监督学习 如果以一把枪来比喻，监督学习就是半自动步枪，从字面意义上我们就不难看出，它是需要人类去教机器怎么做事情。 定义：根据已有的数据集，知道输入和输出结果之间的关系。根据这种已知的关系，训练得到一个最优的模型。 也就是说，在监督学习中训练数据既有特征又有标签，通过训练，让机器可以自己找到特征和标签之间的联系，在面对只有特征没有标签的数据时，可以判断出标签。 说简单一点就是我们赋予机器一个逻辑，并且对于标签和特征进行函数或者代码关联，比如我们家的橘猫代表肥胖，橘色性状与肥胖相关联，我们赋予他们特征和标签，标签就是橘色，特征是肥胖。那么双方挂钩，知道肥胖，就会想到橘猫，也就是知道特征就会牵扯到标签。 监督学习中的回归 从数学上分析，回归的进程是连续不断的变量，我认为这是里面最有意思的一点 回归最简单的例子就是把所有涵盖的标签通过函数找到最好的途径展现在我们面前，经济增长就是最简单的例子，我画了一张图，以理解回归的含义。 下图(图为手画请见谅)是小明在四个月内的开支，他的开支数据是通过标签或者说点的方式表现，而回归则是将这些点以直线或者曲线数学模型来呈现出来，就是普通的二阶函数或者数据集画线。 监督学习中的分类 分类不难理解，分类就是在特征和标签的基础上进行归类，一类一类将其特征和标签分组以待后面进行计算，因为机器都是二进制，比如公猫和母猫，1代表公猫，0代表母猫，一共有十只猫

监督学习： 监督学习就是分类，把人们已经处理好的训练样本（即已知数据和对应输出）给计算机，计算机通过规律训练出一个最佳模型，再用这个模型对输入的数据进行分类，得出对应的输出。 从而使计算机具有对未知数据进行分类的功能。 特点：目标明确 需要带标签的训练样本 分类效果很容易评估 非监督学习： 非监督学习没有训练样本，人们把数据输入到计算机，计算机直接对数据进行建模，不用知道类别是什么，只是把相似度高的东西归到一个类。 特点：没有明确目标 不需要带标签的数据 分类效果难以评估 来源： https://www.cnblogs.com/xfbestgood/p/12040398.html

目录 定义 分类与聚类 分类过程 方法 定义 分类算法的本意就是对我们的数据分进行分类。把它们分到已知的每一个类别。就像一个篮子里面有很多橙子和苹果，机器会通过我们训练出来的模型，对篮子里的水果进行分类。比如：红色 = 苹果，橙色 = 橙子。若要让机器直到这种规则，我们就需要一定量的带标签的“红/橙”标签的数据。然后让模型学习，噢，原来是这种分类规则。 所以分类算法往往需要“带标签”的数据。它是一个监督学习的过程。目标数据都有哪些特征以及这些特征对应什么标签都必须是已知的。然后模型会遍历每一笔数据，最终得到我们我们所认为的规则。所以分类算法往往拥有更精确的计算结果。只是数据的局限性更高，若无法满足的话，我们则需要考虑聚类分析。 分类与聚类 这里的对比其实是复制我的另外一篇文章。（ 【聚类算法】什么是聚类 ） 对比项 分类 聚类 基础 将数据分类为众多已定义的确定类之一 此函数将数据映射到多个集群中的一个集群，其中数据项的排列依赖于它们之间的相似性。 类型 监督学习 非监督学习 训练集 需要 不需要 分类过程 数据准备 - 准备你要分类的数据。这些数据必须要带标签的 数据分类 - 把数据划分成训练集和测试集。这里有很多种划分规则。（后续我就训练集与测试集的划分分享一篇文章，敬请期待） 训练模型 - 把训练集数据传进模型当中，让模型直到我们需要的规则。 测试模型 -

论文地址： Unsupervised Feature Learning via Non-Parametric Instance Discrimination github代码: NCE代码 摘要: 在有标签数据上训练的神经网络分类器能够很好的捕捉图片间的视觉相似性。文章假设：我们能通过训练基于实例（将每一个样本视为单独的类别）的分类器代替基于类别的分类器，得到可以捕捉视觉相似性的特征表达。我们将其总结为 非参数化实例级判别 ，并且通过**噪声对比估计（noise-contrastive estimation）**解决大量实例类别引起的计算困难。 我们的实验证明了，在无监督学习的限制下，我们的方法在ImageNet数据集上超越了当前最好方法。采用更多的训练数据和更先进的网络结构，我们的方法能够进一步提高分类准确率。通过微调学习到的特征，我们能观察到与半监督学习和目标检测任务上相当的结果。同时，我们的非参数化模型十分紧致：每张图片仅需要提取128维的特征，百万量级的图片也仅需要600MB存储空间，使得实际运行时能够很快达成近邻检索的目的。 引言 研究者在本文中提出的无监督学习的创新方法源于对监督学习物体识别结果的一些观察。在 ImageNet 上，top-5 分类误差远低于 top-1 误差 ，并且图像在 softmax 层输出中的预测值排第二的响应类更可能与真实类有视觉关联。 如图

函数原型 \[h_\theta(X)=\frac{1}{1+e^{-\theta^TX}}...称h_\theta(X)为y=1的概率。\] 决策界限的定义 \(根据函数表达式可知当z>=0时y>=0.5当z<0时y<0.5...z=\theta^TX,y=h_\theta(X)\) \(故直线z=\theta^TX为决策界限\) ## 代价函数 线性回归的代价函数为： \[J(\theta)=2\frac{1}{m}\sum_{i=1}^{m}(h_\theta(x^i)-y(x^i))^2\] 我们另： \[J(\theta)=\frac{1}{m}\sum_{i=1}^{m}Cost(h_\theta(x^i),y(x^i))\] \(Cost为：\) \[Cost(h_\theta(x^i),y(x^i))=\begin{cases} -log(h_\theta (x))& \text if&y=1\\-log(1-h_\theta (x))& \text if&y=0\end{cases}\] 为什么这样选择？ #### \(-log(1-h_\theta (x))图像为：\) 其中 \[h_\theta(X)=\frac{1}{1+e^{-\theta^TX}}.\] 当 \(h_\theta (x)\) 无限靠近与0时，代价函数为无穷大。 故 \(h_\theta

假设(基于二维) 训练集 \[ \begin{bmatrix} 1&x_{11}&{\cdots}&x_{1n}\\ 1&x_{21}&{\cdots}&x_{2n}\\ {\vdots}&{\vdots}&{\ddots}&{\vdots}\\ 1&x_{m1}&{\cdots}&x_{mn}\\ \end{bmatrix}* \begin{bmatrix} \theta_{0}\\ \theta_{1}\\ {\vdots}\\ \theta_{n}\\ \end{bmatrix}= \begin{bmatrix} y_{1}\\ y_{2}\\ {\vdots}\\ y_{n}\\ \end{bmatrix} \] 表达式 \[h_\theta(x)=\theta_0+\theta_1x_1+...+\theta_nx_n...x为向量\] 定义代价函数 \[J_\theta(\theta_0,\theta_1,\theta_2,...,\theta_n)=\frac{1}{2m}\sum_{i=1}^{m}({h_\theta(x^i)-y(x^i)})^2\] 梯度下降法 \[min_{\theta_0...\theta_n}J(\theta_0,\theta_1,\theta_2,...,\theta_n)\] \[\theta_j=\theta_j-\alpha

　　统计学习包括监督学习、非监督学习、半监督学习及强化学习。监督学习（supervised learning）的任务是学习一个模型，使模型能够对任意给定的输入，对其相应的输出做出一个好的预测（注意，这里的输入、输出是指某个系统的输入与输出，与学习的输入与输出不同）。计算机的基本操作就是给定一个输入产生一个输出，所以监督学习是极其重要的统计学习分支，也是统计学习中内容最丰富、应用最广泛的部分。 　　1．输入空间、特征空间与输出空间 　　在监督学习中，将输入与输出所有可能取值的集合分别称为输入空间（input space）与输出空间（output space）。输入与输出空间可以是有限元素的集合，也可以是整个欧氏空间。输入空间与输出空间可以是同一个空间，也可以是不同的空间，但通常输出空间远远小于输入空间。 每个具体的输入是一个实例（instance），通常由特征向量（feature vector）表示。这时，所有特征向量存在的空间称为特征空间（feature space）。特征空间的每一维对应于一个特征。有时假设输入空间与特征空间为相同的空间，对它们不予区分；有时假设输入空间与特征空间为不同的空间，将实例从输入空间映射到特征空间。模型实际上都是定义在特征空间上的。 在监督学习过程中，将输入与输出看作是定义在输入（特征）空间与输出空间上的随机变量的取值。输入、输出变量用大写字母表示