无监督学习

监督学习 监督学习主要为回归问题与分类问题 回归 回归问题是针对于连续型变量 简单讲就是拟合出适当的函数模型y=f(x)来表示已存在的数据点，来使得给定一个新x，预测y。 例如： 分类 分类是针对离散型数据集 即，是与不是，或者说输出的结果是有限的 例如： 无监督学习 无监督学习更像是让机器自学，我们不知道数据集中数据、特征之间的关系，而是要根据聚类或一定的模型得到数据之间的关系。 简单讲就像是会自动根据特征分类 例如： 参考吴恩达机器学习课程 来源： https://www.cnblogs.com/sfencs-hcy/p/12020125.html

来自于机器学习实战，让我们开启算法之旅吧 用于执行分类、回归、聚类和密度估计的机器学习算法 监督学习的用途： K—近邻算法 线性回归 朴素贝叶斯算法 局部加权线性回归 支持向量机 RIdge回归 决策树 Lasso最小回归系数估计 无监督学习的用途： K-均值 最大期望算法 DBSCAN Parzen窗设计 监督学习是这类算法必须知道预测什么，即目标变量的分类信息 与监督学习对应的就是无监督学习，此时数据没有类别信息，也不会给定目标值。 无监督学习还可以减少数据特征的维度，以便我们可使用二维或者三维图像更加直观地展示数据信息。 来源： CSDN 作者： huizhejian 链接： https://blog.csdn.net/huizhejian/article/details/48048527

机器学习如果按照训练样本标签的有无可以分为以下两种常用方法。 有监督学习(supervised learning)和无监督学习(unsupervised learning)。 以机器学习中的分类(classification)来说，输入的训练数据有特征（feature），有标签（label）。在分类过程中，如果所有训练数据都有标签，则为有监督学习（supervised learning）。如果数据没有标签，显然就是无监督学习（unsupervised learning）了，也即聚类（clustering）。 监督学习，就是通过已有的训练样本（即已知数据以及其对应的输出）去训练得到一个最优模型（这个模型属于某个函数的集合，最优则表示在某个评价准则下是最佳的），再利用这个模型将所有的输入映射为相应的输出，对输出进行简单的判断从而实现分类的目的，也就具有了对未知数据进行分类的能力。 典型的例子就是KNN、SVM。 KNN算法： http://www.omegaxyz.com/2018/01/08/knn/?hilite=%27KNN%E7%AE%97%E6%B3%95%27 SVM算法： http://www.omegaxyz.com/tag/svm/ 无监督学习（或者叫非监督学习）则是另一种。它与监督学习的不同之处，在于我们事先没有任何训练样本，而需要直接对数据进行建模。

无监督学习 目录 1 关于机器学习 2 sklearn库中的标准数据集及基本功能 2.1 标准数据集 2.2 sklearn库的基本功能 3 关于无监督学习 4 K-means方法及应用 5 DBSCAN方法及应用 6 PCA方法及其应用 7 NMF方法及其实例 8 基于聚类的“图像分割” 正文 回到顶部 1 关于机器学习 　　 机器学习是实现人工智能的手段, 其主要研究内容是如何利用数据或经验进行学习, 改善具体算法的性能 　　　　 多领域交叉, 涉及概率论、统计学, 算法复杂度理论等多门学科 　　　　 广泛应用于网络搜索、垃圾邮件过滤、推荐系统、广告投放、信用评价、欺诈检测、股票交易和医疗诊断等应用 　　机器学习的分类 　　　　 监督学习 （Supervised Learning） 　　　　　　从给定的数据集中学习出一个函数, 当新的数据到来时, 可以根据这个函数预测结果, 训练集通常由人工标注 　　　　 无监督学习 （Unsupervised Learning） 　　　　　　相较于监督学习, 没有人工标注 　　　　 强化学习 （Reinforcement Learning，增强学习） 　　　　　　通过观察通过什么样的动作获得最好的回报, 每个动作都会对环境有所影响, 学习对象通过观察周围的环境进行判断 　　　　 半监督学习 （Semi-supervised Learning）

监督学习 监督学习是目前最常见的机器学习类型。给定一组样本（通常由人工标注），他可以学会将输入数据映射到已知目标。一般来说，近年来过度关注的深度学习应用几乎都属于监督学习，比如光学字符识别、语音识别、图像分类和语言翻译。 监督学习主要包括分类和回归，但还有更多的奇特变体，主要包括如下几种： 1、序列生成（sequence generation）。给定一张图像，预测描述图像的文字。序列生成有时可以被重新表示为一系列分类问题，比如反复预测序列中的单词或标记。 2、语法树预测（syntax tree prediction）。给定一个句子，预测其分解生成的语法树。 3、目标检测（object detection）。给定一张图，在图中特定目标的周围画一个边界框。这个问题也可以表示为分类问题（给定多个候选边界框，对每个框内的目标进行分类）或分类与回归联合问题（用向量回归来预测边界框的坐标）。 4、图像分割（image segmentation）。给定一张图像，在特定物体上画一个像素级的掩模（mask）。 无监督学习 无监督学习是指在没有目标的情况下寻找输入数据的有趣变化，其目的在于数据可视化、数据压缩、数据去噪或更好地理解数据中的相关性。无监督学习是数据分析的必备技能，在解决监督学习之前，它通常是一个必要步骤。降维（dimensionality reduction）和聚类（clustering

机器学习的常用方法，主要分为有监督学习(supervised learning)和无监督学习(unsupervised learning)。监督学习，就是人们常说的分类，通过已有的训练样本（即已知数据以及其对应的输出）去训练得到一个最优模型（这个模型属于某个函数的集合，最优则表示在某个评价准则下是最佳的），再利用这个模型将所有的输入映射为相应的输出，对输出进行简单的判断从而实现分类的目的，也就具有了对未知数据进行分类的能力。在人对事物的认识中，我们从孩子开始就被大人们教授这是鸟啊、那是猪啊、那是房子啊，等等。我们所见到的景物就是输入数据，而大人们对这些景物的判断结果（是房子还是鸟啊）就是相应的输出。当我们见识多了以后，脑子里就慢慢地得到了一些泛化的模型，这就是训练得到的那个（或者那些）函数，从而不需要大人在旁边指点的时候，我们也能分辨的出来哪些是房子，哪些是鸟。监督学习里典型的例子就是 KNN、SVM 。无监督学习（也有人叫非监督学习，反正都差不多）则是另一种研究的比较多的学习方法，它与监督学习的不同之处，在于我们事先没有任何训练样本，而需要直接对数据进行建模。这听起来似乎有点不可思议，但是在我们自身认识世界的过程中很多处都用到了无监督学习。比如我们去参观一个画展，我们完全对艺术一无所知，但是欣赏完多幅作品之后，我们也能把它们分成不同的派别（比如哪些更朦胧一点，哪些更写实一些

无监督学习是机器学习领域内的一种学习方式。本文将给大家解释他的基本概念，告诉大家无监督学习可以用用到哪些具体场景中。 最后给大家举例说明2类无监督学习的思维：聚类、降维。以及具体的4种算法。 什么是无监督学习？ 无监督学习是机器学习中的一种 训练方式/学习方式 ： 下面通过跟监督学习的对比来理解无监督学习： 监督学习是一种目的明确的训练方式，你知道得到的是什么；而 无监督学习则是没有明确目的的训练方式，你无法提前知道结果是什么 。 监督学习需要给数据打标签；而 无监督学习不需要给数据打标签 。 监督学习由于目标明确，所以可以衡量效果；而 无监督学习几乎无法量化效果如何 。 简单总结一下： 无监督学习是一种机器学习的训练方式，它本质上是一个统计手段，在没有标签的数据里可以发现潜在的一些结构的一种训练方式。 它主要具备3个特点： 无监督学习没有明确的目的 无监督学习不需要给数据打标签 无监督学习无法量化效果 这么解释很难理解，下面用一些具体案例来告诉大家无监督学习的一些实际应用场景，通过这些实际场景，大家就能了解无监督学习的价值。 无监督学习的使用场景 案例1：发现异常 有很多违法行为都需要"洗钱"，这些洗钱行为跟普通用户的行为是不一样的，到底哪里不一样？ 如果通过人为去分析是一件成本很高很复杂的事情，我们可以通过这些行为的特征对用户进行分类，就更容易找到那些行为异常的用户

接触过 机器学习（Machine learning） 的看官都应该知道机器学习分为 监督学习（supervised learning） 和 无监督学习(unsupervised learning) 。通俗的来讲，监督学习是我们提供大量数据，并且这些数据都有其对应的具体标签（或具体的准确值、实际特征对应值），也就是算法中的y，例如：训练集{X,Y}。然后由我们利用回归算法或分类算法对数据进行训练、分析、得到预测值。无监督学习是我们提供大量数据，但是这些数据没有对应的标签，例如：训练集{X}，由算法来进行提取具体结构进行分类。 聚类算法 就是无监督学习的一种，这篇博客里提到的是聚类算法中应用最普遍的 K-means算法 （K均值算法），以下作简要讲述。 1.1 聚类算法 聚类算法可以实现将给定的一组未加标签数据自动地分成有紧密关系的 子集 （或是 簇 ）。 K- 均值是一个迭代算法，假设我们想要将数据聚类成 K 个组，其方法为: 1）首先选择K个随机的点，称为 聚类中心 （cluster centroids）； 2）对于数据集中的每一个数据，按照距离K个中心点的距离，将其与距离最近的中心点关联起来，与同一个中心点关联的所有点聚成一类。 3）计算每一个组的平均值，将该组所关联的中心点移动到平均值的位置。 4）重复步骤 2-4 直至中心点不再变化。 Repeat { for i = 1

推荐深度学习的教程。Andre w Ng老师的 ，已有部分章节翻译为 中文。 http://deeplearning.stanford.edu/wiki/index.php/ 说明： 本教程将阐述无监督特征学习和深度学习的主要观点。通过学习，你也将实现多个功能学习/深度学习算法，能看到它们为你工作，并学习如何应用/适应这些想法到新问题上。 本教程假定机器学习的基本知识（特别是熟悉的监督学习，逻辑回归，梯度下降的想法），如果你不熟悉这些想法，我们建议你去这里 机器学习课程 ，并先完成第II，III，IV章（到逻辑回归）。 稀疏自编码器 神经网络 反向传导算法 梯度检验与高级优化 自编码算法与稀疏性 可视化自编码器训练结果 稀疏自编码器符号一览表 Exercise:Sparse Autoencoder 矢量化编程实现 矢量化编程 逻辑回归的向量化实现样例 神经网络向量化 Exercise:Vectorization 预处理：主成分分析与白化 主成分分析 白化 实现主成分分析和白化 Exercise:PCA in 2D Exercise:PCA and Whitening Softmax回归 Softmax回归 Exercise:Softmax Regression 自我学习与无监督特征学习 自我学习 Exercise:Self-Taught Learning 建立分类用深度网络

在机器学习和人工智能领域，相信大家都会非常了解机器学习可以分为有监督学习、无监督学习，或许中间再加一个半监督学习。我们也知道，目前大部分的有效和高精确度的学习方法都是使用有监督的学习方法来实现的。关于有监督，无监督和半监督的机器学习方法可以参考这篇文章 《The 10 Algorithms Machine Learning Engineers Need to Know 》 ，同时，提供文章中提到的一本经典书籍之一： Peter Norvig教授的《人工智能——一种现代方法》 。 传统的无监督学习基本就是大家熟知的机器学习方法，例如聚类算法，主成分分析，支持向量机等，而这些传统机器学习方法更多的是基于统计学方法，而且没有反馈能力，以SVM为例，最容易出现的情况可能是过拟合，在训练数据集上的效果很好，但是换了数据集之后，效果会明显低于原来的效果，还有第二个容易出现的问题是训练集和测试机(实际运行环境)的正负数据比例越接近越好。因为这两点，导致在真实环境中，无监督的效果和适应性都并不是很高。 本文主要讲述的是无监督学习在图像处理中的应用，概括一下，目前在图像处理的无监督的研究致力的方向主要有是有是有三个方向： 1. 第一个方向主要着手于生成模型，本质上可以理解为在捕捉概率下同时出现的特征。这个方向推荐两篇论文，一篇是Hinton在1995年Science上发表的 《The “wake