泛化能力

定理描述 对二分类问题，当假设空间是有限个函数的集合 \(\mathcal{F}=\{f_1,f_2,\cdots,f_d\}\) 时，对任意一个函数 \(f\in\mathcal{F}\) ，至少以概率 \(1-\delta\) 使得以下不等式成立： \(R(f)\leq\hat{R}(f)+\epsilon(d,N,\delta)\) 其中， \(\epsilon(d,N,\delta)=\sqrt{\frac{1}{2N}(\log d+\log\frac{1}{\delta})}\) 证明该公式需要用到 \(Hoeffding\) 定理 \(Hoeffding\) 不等式 假设 \(X_1,X_2,\cdots,X_n\) 是独立随机变量，满足 \(P(X_i\in[a_i,b_i])=1,1\leq i\leq n\) ，令 \(S_n=\sum_{i=1}^{n}X_i\) ，则对任意的 \(t>0\) ，以下不等式成立： \[\begin{align} P(S_n-E[S_n]\geq t)\leq &\exp(\frac{-2t^2}{\sum_{i=1}^n(b_i-a_i)^2})\\ P(E[S_n]-S_n\geq t)\leq &\exp(\frac{-2t^2}{\sum_{i=1}^n(b_i-a_i)^2}) \end{align} \] \

上篇主要介绍了常用的特征选择方法及稀疏学习。首先从相关/无关特征出发引出了特征选择的基本概念，接着分别介绍了子集搜索与评价、过滤式、包裹式以及嵌入式四种类型的特征选择方法。子集搜索与评价使用的是一种优中生优的贪婪算法，即每次从候选特征子集中选出最优子集；过滤式方法计算一个相关统计量来评判特征的重要程度；包裹式方法将学习器作为特征选择的评价准则；嵌入式方法则是通过L1正则项将特征选择融入到学习器参数优化的过程中。最后介绍了稀疏表示与压缩感知的核心思想：稀疏表示利用稀疏矩阵的优良性质，试图通过某种方法找到原始稠密矩阵的合适稀疏表示；压缩感知则试图利用可稀疏表示的欠采样信息来恢复全部信息。本篇将讨论一种为机器学习提供理论保证的学习方法–计算学习理论。 # 13、计算学习理论 计算学习理论（computational learning theory）是通过“计算”来研究机器学习的理论，简而言之，其目的是分析学习任务的本质，例如： 在什么条件下可进行有效的学习，需要多少训练样本能获得较好的精度等，从而为机器学习算法提供理论保证 。 首先我们回归初心，再来谈谈经验误差和泛化误差。假设给定训练集D，其中所有的训练样本都服从一个未知的分布T，且它们都是在总体分布T中独立采样得到，即 独立同分布 （independent and identically distributed，i.i.d.），在

文章转载自http://blog.csdn .NET /hewei0241/article/details/7674450 1.UML中关系 本节向大家学习一下UML箭头、线条代表的意义，UML中关系主要有依赖，聚合，合成，泛化和实现等，下面就让我们来看一下这些关系如何用UML箭头和线条来实现。 关系 后面的例子将针对某个具体目的来独立地展示各种关系。虽然语法无误，但这些例子可进一步精炼，在它们的有效范围内包括更多的语义。 依赖（Dependency） 实体之间一个“使用”关系暗示一个实体的规范发生变化后，可能影响依赖于它的其他实例（图D）。更具体地说，它可转换为对不在实例作用域内的一个类或对象的任何类型的引用。其中包括一个局部变量，对通过方法调用而获得的一个对象的引用（如下例所示），或者对一个类的静态方法的引用（同时不存在那个类的一个实例）。也可利用“依赖”来表示包和包之间的关系。由于包中含有类，所以你可根据那些包中的各个类之间的关系，表示出包和包的关系。 图D 关联（Association） 实体之间的一个结构化关系表明对象是相互连接的。UML箭头是可选的，它用于指定导航能力。如果没有箭头，暗示是一种双向的导航能力。在 Java 中，关联（图E）转换为一个实例作用域的变量，就像图E的“Java”区域所展示的代码那样。可为一个关联附加其他修饰符。多重性（Multiplicity

误差与过拟合 误差 假设m个样本中有a个样本分类错误 错误率（error rate）：分类错误的样本数占样本总数的比例，E=a/m 精度（accuracy）：分类正确的样本数占样本总数的比例，1-a/m 精度=1-错误率 误差（error）：学习器的实际预测输出与样本的真实输出之间的差异 学习器在训练集上的误差称为 训练误差 （training error）/ 经验误差 （empirical error） 学习器在新样本上的误差称为 泛化误差 （generalization error） 机器学习的目标是得到泛化误差小的学习器，但是实际能做的是努力使经验误差最小化 过拟合与欠拟合 当学习器把训练样本学得太好的时候，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样就会导致泛化性能下降。这种现象在机器学习中称为 过拟合 （overfitting）。与过拟合相对的是 欠拟合 （underfitting），这是指对训练样本的一般性质尚未学好。 过拟合是机器学习中的 关键障碍 评估方法 通常，通过实验测试来对学习器的泛化误差进行评估。为此，需使用一个 测试集 （testing set）来测试学习器对新样本的判别能力，然后以测试集上的 测试误差 （testing error）作为泛化误差的近似。 通常我们假设测试样本也是从样本真实分布中独立同分布采样而得

偏差（Bias）与方差（Variance） 目录： 为什么会有偏差和方差？ 偏差、方差、噪声是什么？ 泛化误差、偏差和方差的关系？ 用图形解释偏差和方差。 偏差、方差窘境。 偏差、方差与过拟合、欠拟合的关系？ 偏差、方差与模型复杂度的关系？ 偏差、方差与bagging、boosting的关系？ 偏差、方差和K折交叉验证的关系？ 如何解决偏差、方差问题？ 1. 为什么会有偏差和方差？ 对学习算法除了通过实验估计其泛化性能之外，人们往往还希望了解它为什么具有这样的性能。“偏差-方差分解”（bias-variance decomposition）就是从偏差和方差的角度来解释学习算法泛化性能的一种重要工具。 在机器学习中，我们用训练数据集去训练一个模型，通常的做法是定义一个误差函数，通过将这个误差的最小化过程，来提高模型的性能。然而我们学习一个模型的目的是为了解决训练数据集这个领域中的一般化问题，单纯地将训练数据集的损失最小化，并不能保证在解决更一般的问题时模型仍然是最优，甚至不能保证模型是可用的。这个训练数据集的损失与一般化的数据集的损失之间的差异就叫做泛化误差（generalization error）。 而泛化误差可以分解为偏差（Biase）、方差（Variance）和噪声（Noise）。 2. 偏差、方差、噪声是什么？ 为了更好的理解偏差、方差和噪声概念，这一部分我分两个小节来阐述

 这个思路来源于搞了动态规划几十年(也算是理论奠基人之一了)的Dimitri Bertsekas,他所称之为Abstract Dynamic Programming Models。动态规划是一种在数学、计算机科学和经济学中使用的,通过把原问题分解为相对简单的子问题的方式求解复杂问题的方法。 动态规划常常适用于有重叠子问题和最优子结构性质的问题,动态规划方法所耗时间往往远少于朴素解法。 动态规划背后的基本思想非常简单。大致上,若要解一个给定问题,我们需要解其不同部分(即子问题),再合并子问题的解以得出原问题的解。通常许多子问题非常相似,为此动态规划法试图仅仅解决每个子问题一次,从而减少计算量:一旦某个给定子问题的解已经算出,则将其记忆化存储,以便下次需要同一个子问题解之时直接查表。这种做法在重复子问题的数目关于输入的规模呈指数增长时特别有用。 动态规划问题满足三大重要性质 一、抽象模型 ¶ 定义:两个集合 S,A ;策略映射 mu ;两个算子 T_mu,T 本节我们定义为了准确描述动态规划模型必不可少的5个符号。 考虑 S 和 A 为两个集合,前者我们认为是包含所有状态(state)的集合,后者我们认为是包含所有控制(control,或者action)的集合。对任意 sin S ,定义 A(s)subset A 为针对状态 s 的可行控制集。然后我们再对任意 sin S

软件工程项目这周要交一个设计文档，其中涉及UML图的画法，根据上课给的ppt做一个记录。 有关于UML的介绍在这里不再赘述，直接开整！ UML的基本模型 当然必要的介绍必不可少，这里先介绍UML的基本模型，之后的介绍将按照下图的顺序进行。 之后简单介绍一下面向对象的程序设计原则。这部分是我对之前知识的一个复习，想看UML的朋友可以直接跳到下一章。 对象 对象的概述 对象是包含现实世界物体特征的抽象实体，它不仅表示具体的事物，还可以表示具体的规则或者事件。举个例子，公费医疗报销系统中的报销用户就是一个对象。 对象具有 状态 ，也就是对象还拥有 属性 。举例来说，报销用户有姓名、年龄、单位等等状态。 对象中还包括 操作 ，我们称之为 方法 ，操作用来改变对象的状态。举例来说，报销用户中的操作可能是对自己个人信息的修改。 对象的分类 对象大体可以分为5类：分别是物理对象，角色，事件，交互和规格说明。 物理对象 多表示现实生活中最容易被抽象的对象，比如报销系统中的某个单位的学生或者老师就是物理对象； 角色 举例来说，报销系统中，某个单位的学生老师的角色都是报销用户。 事件 这里的理解不太确定，个人理解是事件对象的作用是对出现的事件相关的状态进行存储，以便后续操作中读取。 交互 交互表示两个对象之间的关系。它的实际应用是在实体之间是多对多的关系时，使用交互对象可以简化为两个一对多的关系

软件工程项目这周要交一个设计文档，其中涉及UML图的画法，根据上课给的ppt做一个记录。 有关于UML的介绍在这里不再赘述，直接开整！ 当然必要的介绍必不可少，这里先介绍UML的基本模型，之后的介绍将按照下图的顺序进行。 之后简单介绍一下面向对象的程序设计原则。这部分是我对之前知识的一个复习，想看UML的朋友可以直接跳到下一章。 瀵硅薄 对象是包含现实世界物体特征的抽象实体，它不仅表示具体的事物，还可以表示具体的规则或者事件。举个例子，公费医疗报销系统中的报销用户就是一个对象。 对象具有 ״̬ ，也就是对象还拥有 属性 。举例来说，报销用户有姓名、年龄、单位等等状态。 对象中还包括 操作 ，我们称之为 方法 ，操作用来改变对象的状态。举例来说，报销用户中的操作可能是对自己个人信息的修改。 对象大体可以分为5类：分别是物理对象，角色，事件，交互和规格说明。 物理对象 多表示现实生活中最容易被抽象的对象，比如报销系统中的某个单位的学生或者老师就是物理对象； 角色 举例来说，报销系统中，某个单位的学生老师的角色都是报销用户。 事件 这里的理解不太确定，个人理解是事件对象的作用是对出现的事件相关的状态进行存储，以便后续操作中读取。 交互 交互表示两个对象之间的关系。它的实际应用是在实体之间是多对多的关系时，使用交互对象可以简化为两个一对多的关系。个人理解

机器学习所研究的内容：是关于在计算机上通过数据产生“模型”的算法，即为“学习算法”（learning algorithm）。 “模型”指的就是学习所得的结果。 从数据中学得模型的过程称为“学习”或“训练”。 预测的若为离散值，此类学习任务称为“分类”（classification）若为连续值，此类学习任务称之为“回归”（regression）。涉及到两个类别的“二分类”（binary classification）任务，其中一个为“正类”（posive class）,另一个为“反类”（negative class）。 根据训练数据是否拥有标记信息，学习任务分为：“监督学习”（supervise learning）和“无监督学习”（unsupervised learning）。分类回归是前者的代表，聚类（clustering）是后者的代表。 学得的模型适用于新样本的能力，称为“泛化”（generalization）能力。 归纳（induction）和演绎（deduction）。 归纳是从特殊到一般的泛化过程，即为从具体的事实中总结出一般的规律。演绎是从一般到特殊的“特化”（specialization）过程，即从基础原理推演出具体状况。 归纳学习有广义和狭义之分，广义的归纳学习相当于从样例中学习，而狭义的归纳学习则要求从训练数据中学得概念，又称为“概念学习”或“概念形成”。

1.图像分类 • 2.神经网络原理 • 1.卷积神经网络介绍 • 2.利用caffe搭建深度网络做图像分类 挑战：光照变化+形变。类内变化。 标签、预测函数，泛化能力。 如何提高泛化能力？需要用图像特征来描述图像。 来源： https://www.cnblogs.com/wxl845235800/p/11365443.html