监督学习

计算机视觉系列最新论文（附简介） 目标检测 1. 综述：深度域适应目标检测标题：Deep Domain Adaptive Object Detection: a Survey 作者：Wanyi Li, Peng Wang链接：https://arxiv.org/abs/2002.06797 本文共梳理了 40 篇 相关文献，由 中科院自动化所 学者发布。基于深度学习(DL)的目标检测已经取得了很大的进展，这些方法通常假设有大量的带标签的训练数据可用，并且训练和测试数据从相同的分布中提取。然而，这两个假设在实践中并不总是成立的。深域自适应目标检测(DDAOD)作为一种新的学习范式应运而生。本文综述了深域自适应目标检测方法的研究进展。 2. 深度学习中的异常实例检测：综述 标题：Anomalous Instance Detection in Deep Learning: A Survey 作者：Saikiran Bulusu, Dawn Song链接：https://arxiv.org/abs/2003.06979 本文共梳理了 119 篇 相关文献，由 雪城大学 学者发布。讨论多种异常实例检测方法，并分析了各种方法的相对优势和劣势。 3. 使用移动摄像机检测移动物体：全面综述标题：Moving Objects Detection with a Moving Camera: A

本文首发自公众号： RAIS ，点击直接关注。 前言 本系列文章为 《Deep Learning》 读书笔记，可以参看原书一起阅读，效果更佳。由于各平台 Markdown 解析差异，有些公式显示效果不好，请到我 个人维护网站 查看。 监督学习算法 监督学习算法的定义是，给定一组输入 x 和输出 y，学习如何将其关联起来，现在的大部分情况都是监督学习算法的范畴。 逻辑回归 很多的监督学习算法是基于估计概率分 布P(y|x) 的，假设参数服从高斯分布，我们可以使用最大似然估计找到对于有参分布族 P(y|x;θ) 最好的参数向量 θ，即用最大似然估计得到目标函数，优化这个目标函数。线性回归对应于高斯分布分布族，通过定义一族不同的概率分布，可将线性回归扩展到分类情况中。 具体的做法就是将线性函数的输出使用 sigmoid 函数（就是前文说的那个样子像 S 型）将其压缩到 (0, 1) 空间内，这就叫做逻辑回归。注意这个逻辑回归不是回归，而是用来解决分类问题。当然，线性回归也可以推广为 Softmax 回归，不是这里的重点。 支持向量机 支持向量机是监督学习中关于分类与回归问题中重要的算法。与逻辑回归类似，这个模型也是基于线性函数的，不过输出有所不同，不输出概率，而是输出类别，为正正类，为负负类。 核技巧，其实这是一个数学上的概念，用来增加维度区分不同数据，如下图，区分下图中左侧的四个点

按照任务类型可分为： 回归模型 ：例如预测明天的股价。 分类模型 ：将样本分为两类或者多类。 结构化学习模型 ：输出的不是向量而是其他 结构。 按照学习理论可分为： 监督学习 ：学习的样本 全部 具有标签，训练网络得到一个最优模型。 无监督学习 ：训练的样本 全部 无标签，例如 聚类样本。 半监督学习 ：训练样本 部分 有标签。 强化学习 ：智能体与环境进行交互获得 奖励 来进行训练的一种模式，环境不会判断是否正确，而是会不断的反馈信号来 评价 智能体的行为。 迁移学习 ：运用已经训练好的模型对新的样本进行学习，主要是解决问题中样本过少的问题。 人工智能更多面试问题关注公众号： 我们都是码农 (allmanong)，或者扫描下方二维码！ 来源： oschina 链接： https://my.oschina.net/u/4386848/blog/3220632

按照任务类型可分为： 回归模型 ：例如预测明天的股价。 分类模型 ：将样本分为两类或者多类。 结构化学习模型 ：输出的不是向量而是其他 结构。 按照学习理论可分为： 监督学习 ：学习的样本 全部 具有标签，训练网络得到一个最优模型。 无监督学习 ：训练的样本 全部 无标签，例如 聚类样本。 半监督学习 ：训练样本 部分 有标签。 强化学习 ：智能体与环境进行交互获得 奖励 来进行训练的一种模式，环境不会判断是否正确，而是会不断的反馈信号来 评价 智能体的行为。 迁移学习 ：运用已经训练好的模型对新的样本进行学习，主要是解决问题中样本过少的问题。 人工智能更多面试问题关注公众号： 我们都是码农 (allmanong)，或者扫描下方二维码！ 来源： oschina 链接： https://my.oschina.net/u/4329790/blog/3220621

1.机器学习概论 1.python基础的准备 本课程拟采用Python做为机器算法应用的实现语言，所以请确保: 1）安装好Python开发环境， PyCharm 或 Anaconda等都可以，按个人习惯喜好。 2）基本库的安装，如numpy、pandas、scipy、matplotlib 3）具备一定的Python编程技能，如果不熟悉，可选择一个教程进行学习，Python简单好上手，资源也很丰富。 菜鸟教程 Python 3 教程 http://www.runoob.com/python3/python3-tutorial.html 廖雪峰的官方网站 Python3 https://www.liaoxuefeng.com/wiki/1016959663602400 2.本周视频学习内容： https://www.bilibili.com/video/BV1Tb411H7uC?p=1 1）P4 Python基础 2）P1 机器学习概论 机器学习是一门多领域交叉学科，涉及较多的数学知识，我们不做太多理论上的要求，如果有听不懂的地方，不要放弃，看一遍就有个印象。通过观看视频，大家对课程有个总体的认识。 建议大家边看边做笔记，记录要点及所在时间点，以便有必要的时候回看。学习笔记也是作业的一部分。 3.作业要求： 1）贴上Python环境及pip list截图，了解一下大家的准备情况

理论上讲线性回归模型既可以用于回归，也可以用于分类。解决回归问题，可以用于连续目标值的预测。但是针对分类问题，该方法则有点不适应，因为线性回归的输出值是不确定范围的，无法很好的一一对应到我们的若干分类中。即便是一个二分类，线性回归+阈值的方式，已经很难完成一个鲁棒性很好的分类器了。为了更好的实现分类，逻辑回归诞生了。逻辑回归（Logistic Regression）主要解决二分类问题，用来表示某件事情发生的可能性。 逻辑回归是假设数据服从Bernoulli分布的，因此LR也属于参数模型，他的目的也是寻找到最优参数。 logistic回归是一种广义线性回归（generalized linear model）。 【补充】在统计学中，参数模型通常假设总体（随机变量）服从某一个分布，该分布由一些参数确定（比如正太分布由均值和方差确定），在此基础上构建的模型称为参数模型；非参数模型对于总体的分布不做任何假设，只是知道总体是一个随机变量，其分布是存在的（分布中也可能存在参数），但是无法知道其分布的形式，更不知道分布的相关参数，只有在给定一些样本的条件下，能够依据非参数统计的方法进行推断。 首先回顾一下简单线性回归（只考虑一个输入变量，一个输出变量的线性回归）。 表示输入变量（自变量），第一部分例子中的X。 表示输出变量（因变量），第一部分例子中的Y。一对 表示一组训练样本。m个训练样本

本篇博客主要详细介绍朴素贝叶斯模型。首先贝叶斯分类器是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类器。而朴素贝叶斯分类器是贝叶斯分类器中最简单，也是最常见的一种分类方法。并且，朴素贝叶斯算法仍然是流行的十大挖掘算法之一，该算法是有监督的学习算法，解决的是分类问题。该算法的优点在于简单易懂、学习效率高、在某些领域的分类问题中能够与决策树、神经网络相媲美。但由于该算法以自变量之间的独立（条件特征独立）性和连续变量的正态性假设为前提(这个假设在实际应用中往往是不成立的)，就会导致算法精度在某种程度上受影响。 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法，是经典的机器学习算法之一。最为广泛的两种分类模型是决策树(Decision Tree Model)和朴素贝叶斯模型（Naive Bayesian Model，NBM）。和决策树模型相比，朴素贝叶斯分类器(Naive Bayes Classifier 或 NBC)发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。理论上，NBC模型与其他分类方法相比具有最小的误差率。 历史背景解读： 18世纪英国数学家托马斯·贝叶斯(Thomas Bayes，1702～1761)提出过一种看似显而易见的观点：

这个结构是10年Quoc V.Le等人提出的，这里的tiled，按照 Lecun的解释是Locally-connect non shared.即是局部连接，而且不是共享的，这是针对于权重来说的。本文翻译如有错误，还望指正，谢谢！！这篇论文是10年的，相比较来说四年的东西，比较旧了，可是这个tcnn在ng的ufldl最后也有提及（只有目录部分，ng没写完），而且也算是个cnn的变化，不过看效果没有获得the state of art。因为在cifar-10数据集上当前的效果都达到了91%，而且NIN结构也很不错（还没看）。 Tiled convolutional neural networks 摘要 ：卷积神经网络（cnn）已经成功的应用于许多的任务上，比如数字或者对象识别。使用卷积（tied）权重显然可以大幅度的减少所需要学习的参数的数量，并且可以使得在这个结构中能够硬编码（估计就是结构自身所特有的属性的意思吧）平移不变性。在本文中，我们考虑学习不变性的问题，而不是只依赖于硬编码。我们提出了tiled卷积神经网络，它通过使用一个tied权重的规则‘tiled’模式（个人理解就是在卷积上加个tiled规则），即不需要毗邻的隐藏单元共享同样的权重，而是隐藏单元之间距离k步远的单元有tied权重。通过在邻居单元上进行池化，这个结果能够去学习复杂的不变性（例如缩放和旋转不变性

监督学习 分类问题 回归问题 朴素贝叶斯 逻辑回归 支持向量机 核方法 决策树 随机森林 线性回归 K近邻 无监督学习 聚类 K均值 DBSCAN 降维 主成分分析 线性判别分析 自监督学习 自编码器 强化学习 样本 预测 目标 损失值 类别 标签 二分类 多分类 多标签分类 标量回归 向量回归 小批量 过拟合 欠拟合 泛华 超参数 训练集 测试集 验证集 留出验证 K折验证 特征工程 数据向量化 同质性 训练 测试 正则化 记忆容量 奥卡姆剃刀 非平衡问题 损失函数 激活函数 感知机 全连接神经网络 卷积神经网络 循环神经网络 生成对抗网络 权重衰减 dropout 来源： CSDN 作者： wuzhiyuan2000 链接： https://blog.csdn.net/weixin_43869091/article/details/104780607

目录： 一、介绍 二、工作流程 三、示例 四、用Python实现 1.模拟数据及绘图 2.KNN过程 3.使用scikit-learn中的KNN 五、KNN的优缺点 1.优点 2.缺点 六、KNN的应用 1.银行系统 2.计算信用等级 3.政治 4.其他领域 一、介绍 K最近邻（KNN）算法是一种监督的ML算法，可用于分类以及回归预测问题。但是，它主要用于行业中的分类预测问题。以下两个属性将很好地定义KNN： 惰性学习算法 ：因为它没有专门的训练阶段，并且在分类时将所有数据用于训练。 非参数学习算法 ：因为它不假设有关基础数据的任何信息 。 二、工作流程 K最近邻（KNN）算法使用“特征相似性”来预测新数据点的值，这意味着，将根据新数据点与训练集中的点的匹配程度为该新数据点分配一个值。我们可以通过以下步骤了解其工作方式： 步骤1： 加载训练以及测试数据。 步骤2： 选择K的值，即最近的数据点（K可以是任何整数）。 步骤3： 对于测试数据中的每个点，请执行以下操作： 借助以下任意一种方法来计算测试数据与训练数据的每一行之间的距离： 欧几里得距离，曼哈顿距离或汉明距离 。 最常用 的距离计算方法是欧几里得。 基于距离值，将它们按升序排序。 然后它将从排序后的数组中选择前K行。 现在，它将基于这些行中最多出现的类别为测试点分配这一个类。 步骤4： 结束。 三、示例