监督学习

前言 机器学习分为：监督学习，无监督学习，半监督学习（也可以用hinton所说的强化学习）等。 在这里，主要理解一下监督学习和无监督学习。 监督学习（supervised learning） 从给定的训练数据集中学习出一个函数（模型参数），当新的数据到来时，可以根据这个函数预测结果。监督学习的训练集要求包括输入输出，也可以说是特征和目标。训练集中的目标是由人标注的。监督学习就是最常见的分类（ 注意和聚类区分 ）问题，通过已有的训练样本（即已知数据及其对应的输出）去训练得到一个最优模型（这个模型属于某个函数的集合，最优表示某个评价准则下是最佳的），再利用这个模型将所有的输入映射为相应的输出，对输出进行简单的判断从而实现分类的目的。也就具有了对未知数据分类的能力。监督学习的目标往往是让计算机去学习我们已经创建好的分类系统（模型）。 监督学习是训练神经网络和决策树的常见技术。这两种技术高度依赖事先确定的分类系统给出的信息，对于神经网络，分类系统利用信息判断网络的错误，然后不断调整网络参数。对于决策树，分类系统用它来判断哪些属性提供了最多的信息。 常见的有监督学习算法：回归分析和统计分类。最典型的算法是KNN和SVM。 有监督学习最常见的就是：regression&classification Regression：Y是实数vector。回归问题，就是拟合(x,y)的一条曲线，使得价值函数

监督式学习 是由一组人工标记的数据推测出假设函数的学习方法 。大量训练样本构成样本集。每个训练样本包含输入值和期望输出值。下面我们看一个例子。 我们有美国波特兰地区47套房屋的居住面积及其价格的数据集。 居住面积( f e e t 2 //--> ) 价格(1000$s) 2104 400 1600 330 2400 540 1416 232 3000 540 … … 数据绘制在二维图上： 根据这些数据我们可以找到预测波特兰房屋价格的方法（一个关于房屋面积的函数）吗？ 我们先申明一些标记符， x ( i ) //--> 表示输入变量（例子中的房屋面积），也称为 输入特征 。 y ( i ) //--> 表示我们要去预测的 目标变量 。一对 ( x ( i ) , y ( i ) ) //--> 称为 训练样本 ，而数据集就是 m //--> 个我们用来学习的 训练样本的集合 { ( x ( i ) , y ( i ) ) ; i = 1 , … , m } //--> ，上标 ( i ) //--> 表示第 i //--> 个样本。 X //--> 表示输入空间， Y //--> 表示输出空间，在此次例子中 X = Y = R //--> 。 监督式学习的过程可表示为下图，训练集通过学习算法训练，求出一个假设（房屋面积对价格的函数）。当我们有新的数据需要预测时

分类与回归 监督学习的问题主要有两种，分别是分类classification和回归regression。 分类： 分类问题的目的是预测类别标签class label，这些标签来自预定义的可选列表。 回归： 回归任务的目的是预测一个连续值，也叫作浮点数floating-point number，即预测值不是一个类别而是一个数字值。打个比方，假如要根据一个人的年龄学历等feature来预测这个人的收入，那么预测值为一个金额，可以在给定范围内任意取值。 区分分类与回归： 最好的办法就是看输出是否具有某种连续性，如果在可能的结果之间具有连续性，那么它就是一个回归问题。 泛化 generalize： 如果一个模型能对没有见过的数据做出准确的预测，那么就表明这个模型能从训练集generalize到测试集。 过拟合 overfitting 欠拟合 underfitting： 如果我们总想找到最简单的模型，构建与一个对于现有信息量过于复杂的模型，即在拟合模型的时候过分关注训练集的细节，得到了一个与训练集上表现很好但是不能泛化到新数据上的模型，那么就是overfitting过拟合。 反之 ，如果模型过于简单，无法抓住数据的全部内容以及数据中的变化，甚至在训练集上表现就很差，那么就是underfitting欠拟合。 所以 ，在二者之间存在一个最佳位置，找到这个位置就是我们最想要的模型。 监督学习算法

1、定义 引用维基百科和百度百科。 监督式学习 （英语 ： Supervised learning ），是一个机器学习 中的方法，可以由训练资料中学到或建立一个模式（函数 / learning model），并依此模式推测新的实例。 训练资料 是由输入物件（通常是向量）和预期输出所组成。函数的输出可以是一个连续的值（称为回归 分析 ），或是预测一个分类标签（称作 分类 ）。（wikipedia） 利用一组已知类别的样本调整分类器 的参数，使其达到所要求性能的过程，也称为监督训练或有教师学习。（baidu） 无监督学习/ 非监督式学习 (unsupervised learning):设计分类器 时候，用于处理未被分类标记 的样本集。 监督学习中在给予计算机学习样本的同时，还告诉计算各个样本所属的类别。若所给的学习样本不带有类别信息,就是无监督学习 。（baidu） 非监督式学习 是一种机器学习 的方式，并不需要人力来输入标签。它是监督式学习 和强化学习 等策略之外的一种选择。在监督式学习中，典型的任务是分类和回归分析 ，且需要使用到人工预先准备好的范例。 一个常见的非监督式学习是数据聚类 。 百度百科和维基百科定义有点抽象，为了更为简明的在神经网络学习中进行表述，我们给出我们对监督学习和非监督学习的定义： 监督式学习：能够通过训练样本集或专家知识构建已知且确定的判定函数

如何区分监督学习(supervised learning)和非监督学习(unsupervised learning) 机器学习的常用方法中，我们知道一般分为监督学习和非监督学习。（当然还有半监督） l 监督学习：监督学习，简单来说就是给定一定的训练样本（这里一定要注意，这个样本是既有数据，也有数据相对应的结果），利用这个样本进行训练得到一个模型（可以说就是一个函数），然后利用这个模型，将所有的输入映射为相应的输出，之后对输出进行简单的判断从而达到了分类（或者说回归）的问题。简单做一个区分，分类就是离散的数据，回归就是连续的数据。 l 非监督学习：同样，给了样本，但是这个样本是只有数据，但是没有其对应的结果，要求直接对数据进行分析建模。 比如我们去参观一个画展，我们完全对艺术一无所知，但是欣赏完多幅作品之后，我们也能 把它们分成不同的派别（比如哪些更朦胧一点，哪些更写实一些，即使我们不知道什么叫做朦胧派，什么叫做写实派，但是至少我们能把他们分为两个类）。无监督 学习里典型的例子就是聚类了。聚类的目的在于把相似的东西聚在一起，而我们并不关心这一类是什么。因此，一个聚类算法通常只需要知道如何计算相似度就可以 开始工作了[2] 对于问题，我可以这样跟大家说。买房的时候，给了房屋面积以及其对应的价格，进行分析，这个就叫做监督学习；但是给了面积，没有给价格，就叫做非监督学习。 监督

数据分析师-机器学习 数据分析师-机器学习 机器学习概念 机器学习概念 ●机器学习研究如何让计算机不需要明确的程序也能具备学习能力。（ Arthur Samuel，1959） ●一个计算机程序在完成了任务T之后，获得经验E，其表现效果为P，如果任务T的性能表现，也就是用以衡量的P，随着E的增加而增加，可以称其为学习。（Tom Mitchell11977） 虽然机器学习的研究来源于人工智能领域，但是机器学习的方法却应用于数据科学领域，因此我们将机器学习看作是一种数学建模更合适。 机器学习的本质就是借助数学模型理解数据。当我们给模型装上可以适应观测数据的可调参数时，“学习”就开始了；此时的程序被认为具有从数据中“学习”的能力。一旦模型可以拟合旧的观测数据，那么它们就可以预测并解释新的观测数据。 模型构建流程 第一步：获取数据 既然我们机器学习是借助数学模型理解数学，那么最重要的原材料就是数据了。获取数据通常指的是获取原始数据，当然这里可以是一手数据，也可以是二手数据，关键看机器学习的学习任务。 “数据决定机器学习结果的上限，而算法只是尽可能的逼近这个上限”，可见数据在机器学习中的作用。那么一般而言对于数据我们有哪些要求呢？ 数据要具有代表性，数据需要包含尽可能多的信息，数据也需要同学习任务有关联性。 对于监督学习中的分类问题，数据偏斜不能过于严重

import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data import numpy as np import matplotlib.pyplot as plt mnist=input_data.read_data_sets("mnist",one_hot=True); #设置超参数 learninig_rate=0.1; training_epochs=20; batch_size=100; display_step=1; #网络的参数 n_input=784; n_hidden_1=256; n_hidden_2=128; #自动编码器设置好以后用来测试效果的图片的数量 examples_to_show=10; X=tf.placeholder("float",[None,n_input]); weights={ "encoder_h1":tf.Variable(tf.random_normal([n_input,n_hidden_1])), "encoder_h2":tf.Variable(tf.random_normal([n_hidden_1,n_hidden_2])), "decoder_h1":tf.Variable(tf.random_normal([n

决策树 超参数 最大深度 Maximum depth of a decision tree 每片叶子的最小样本数 Minmum samples per leaf 整数：单片叶子上的最小样本数 浮点数：单片叶子上的样本比例。样本总数为该节点的样本总数。若叶节点的样本比例小于设定的浮点数，则此次分裂会被拒绝。 每次分裂的样本最小数 与叶子最小样本数类似，只不过是应用于结点分裂时 最大特征数 限制每次分裂过程中查找的特征总数 总结 较大的深度往往会导致过拟合，这是因为过深的决策树可以记忆数据。而较小的深度会使得模型过于简单，导致欠拟合。 当每片叶子的样本数量较小时，叶子上的样本数量也有可能过于稀少，此时模型将记忆数据，也就是过拟合。当每片叶子的样本数量较大时，决策树能够获得足够的弹性进行构建，这也许会导致欠拟合。 网格搜索 DecisionTreeClassifier(class_weight= None , criterion= 'gini' , max_depth= None , max_features= None , max_leaf_nodes= None , min_impurity_decrease= 0.0 , min_impurity_split= None , min_samples_leaf= 1 , min_samples_split= 2 , min

DPM(Deformable Parts Model) Reference: Object detection with discriminatively trained partbased models. IEEE Trans. PAMI, 32(9):1627–1645, 2010. "Support Vector Machines for Multiple-Instance Learning,"Proc. Advances in Neural Information Processing Systems,2003. 作者主页： http://www.cs.berkeley.edu/~rbg/latent/index.html 补充 and 修正： HOG特征（毕业论文节选） DPM目标检测算法(毕业论文节选) 大体思路 DPM是一个非常成功的目标检测算法，连续获得VOC（Visual Object Class）07,08,09年的检测冠军。目前已成为众多分类器、分割、人体姿态和行为分类的重要部分。2010年Pedro Felzenszwalb被VOC授予"终身成就奖" 。 DPM可以看做是 HOG（Histogrrams of Oriented Gradients）的扩展，大体思路与HOG一致。先计算梯度方向直方图，然后用SVM（Surpport Vector Machine

几点声明： 1、本文的内容全部来源于七月在线发布的BAT机器学习面试1000题系列； 2、文章中带斜体的文字代表是本人自己增加的内容，如有错误还请批评指正； 3、原文中有部分链接已经失效，故而本人重新加上了新的链接，如有不当，还请指正。（也已用斜体标出） 4、部分答案由于完全是摘抄自其它的博客，所以本人就只贴出答案链接，这样既可以节省版面，也可以使排版更加美观。点击对应的问题即可跳转。 最后，此博文的排版已经经过本人整理，公式已用latex语法表示，方便读者阅读。同时链接形式也做了优化，可直接跳转至相应页面，希望能够帮助读者提高阅读体验，文中如果因为本人的整理出现纰漏，还请指出，大家共同进步！ 1.请简要介绍下SVM。 SVM，全称是support vector machine，中文名叫支持向量机。SVM是一个面向数据的分类算法，它的目标是为确定一个分类超平面，从而将不同的数据分隔开。 扩展： 支持向量机学习方法包括构建由简至繁的模型：线性可分支持向量机、线性支持向量机及非线性支持向量机。当训练数据线性可分时，通过硬间隔最大化，学习一个线性的分类器，即线性可分支持向量机，又称为硬间隔支持向量机；当训练数据近似线性可分时，通过软间隔最大化，也学习一个线性的分类器，即线性支持向量机，又称为软间隔支持向量机；当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机。