样本方差

0. 前言 sklearn提供了sklearn.ensemble库，其中包括随机森林模型(分类)。但之前使用这个模型的时候，要么使用默认参数，要么将调参的工作丢给调参算法（grid search等）。今天想来深究一下到底是如何选择参数，如何进行调参。 学会调参是进行集成学习工作的前提。参数可分为两种，一种是影响模型在训练集上的准确度或影响防止过拟合能力的参数；另一种不影响这两者的其他参数。模型的准确度由其在训练集上的准确度及其防止过拟合的能力所共同决定，所以在调参时，我们主要对第一种参数进行调整，最终达到的效果是：模型在训练集上的准确度和防止过拟合能力的平衡。 1. 集成学习是什么 集成学习通过构建并结合多个学习器来完成学习任务。 集成学习的一般结构：先产生一组“个体学习器”(individual learner)，然后再用某种策略将它们结合起来。个体学习器通常有一个现有的学习算法从训练数据产生，此时集成中只包含同种类型的个体学习器，比如“决策树集成”，此时的集合里全部都是决策树。同质集成中的个体学习器称为 “基学习器” (base learner)，相应的学习算法成为“基学习算法”(base learning algorithm)。 因为集成学习通过对多个“弱学习器”进行结合，可以获得比单一学习器更加显著的泛化性能，所以集成学习的很多理论研究是针对弱学习器的。因此“基学习器

数据是一切的根本。 一.获取数据 1.可以使用爬虫scrapy获取数据，但是更一般的是自家数据库中的数据 2.可以获得公用数据集： http：//www.kaggle.com/datasets 等网站 3.可以自己创建虚拟数据 4.注意：1）数据量尽可能多、利于训练，（2）数据内容尽可能有效，能对预测产生作用（有用的特征），（3）数据尽可能要均匀（分类），即全面 5.注意：无论是数据获取还是处理，都要注意多做备份，有能力每步都要备份，数据的价值难以想象。 二.原始数据 1.数据的本质是信息的具体化，原始数据有很多种：数字、文字、图片....我们可以从这些数据中看出里面所包含的信息。 2.计算机接收进行处理的是数字，根据经验，把原始数据转换为数字是比较容易的（比如把图片转化为矩阵的形式）， 3.我们得到的原始数据可能有这样那样的问题，所以要进行下一步的数据清洗 ------原始数据是杂乱的，含有不完整、重复、错误的数据，因此要先进行数据清洗------- 三.数据清洗（Data cleaning） 1.数据清洗是为了对数据进行重新审查和校验，目的在于删除重复信息、纠正存在的错误，并提供数据一致性 2.不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类 （1）缺失数据（数据为空Null）：如果缺失数据的记录占比较小，可以直接剔除（主要包括删除样本或删除特征两种

1 数据预处理 关于数据预处理我们有3个常用的符号，数据矩阵 \(X\) ，假设其尺寸是 \([N \times D]\) （ \(N\) 是数据样本的数量， \(D\) 是数据的维度）。 1.1 均值减去 均值减法（Mean subtraction）是预处理最常用的形式。它对数据中每个独立特征减去平均值，从几何上可以理解为在每个维度上都将数据云的中心都迁移到原点。 在numpy中，该操作可以通过代码 \(X-=n p \cdot \operatorname{mean}(X, \text { axis }=0)\) 实现。 而对于图像，更常用的是对所有像素都减去一个值，可以用 \(\mathrm{X}-=\mathrm{np} \cdot \operatorname{mean}(\mathrm{X})\) 实现，也可以在3个颜色通道上分别操作。 1.2 归一化 归一化（Normalization）是指将数据的所有维度都归一化，使其数值范围都近似相等。 有两种常用方法可以实现归一化。 第一种 是先对数据做零中心化（zero-centered）处理，然后每个维度都除以其标准差，实现代码为 \(\mathrm{X} /=\mathrm{np} . \mathrm{std}(\mathrm{X}, \mathrm{axis}=0)\) 。 第二种 是对每个维度都做归一化

概率和数理统计是大学数学的重要内容，无论是在科学研究还是在工程实际中都有着非常广泛的应用。在MATLAB中，提供了专门的统计工具箱Staticstics，该工具箱有几百个专用于求解概率和数理统计问题的函数。本章将详细的介绍随机数的产生，随机变量的概率密度函数和数字特征，以及假设检验、方差分析和统计绘图等。 0.随机数 随机数的产生是概率统计的基础，概率论和数理统计就是对各种样本数据进行分析。在MATLAB中，各种样本数据可以用一些经典的随机分布数来表示。下面对常用的二项分布、均匀分布、指数分布、正态分布等随机数据进行详细的介绍。 <1>二项分布随机分布 在MATLAB中，使用函数binornd()产生二项分布的随机数据。该函数的的调用方式如下：R=binornd(N,P):在该函数中N和P为二项分布的两个参数，返回服从参数为N和P的二项分布随机数。R=binornd(N,P,M):在该函数中参数M指定随机数的个数，与返回结果R同维数。 <2>泊松分布 在MATLAB中，使用函数poissrnd()产生泊松分布的随机数据。该函数的调用方式如下：R=poissrnd(LAMBDA):在该函数中LAMBDA为泊松分布的参数，返回服从参数为LAMBDA的泊松分布随机数，其中R与LAMBDA维数相同。R=poissrnd(LAMBDA,M,N):在该函数中LAMBDA为泊松分布的参数

总体方差与样本方差分母的小小区别，n还是n-1？ 引入 方差概念 方差计算 无偏估计 样本方差公式 相关参考链接 样本方差的自由度是n-1 引入 方差概念 方差是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量，用来度量随机变量和其数学期望（即均值）之间的偏离程度。 方差计算 定义： D X = E ( X − E X ) 2 = E X 2 − ( E X ) 2 D X=E(X-E X)^{2}=E X^{2}-(E X)^{2} D X = E ( X − E X ) 2 = E X 2 − ( E X ) 2 离散型和连续型的随机变量计算公式分别为： D ( X ) = { ∑ k = 1 ∞ [ x k − E ( X ) ] 2 p k , ∫ − ∞ ∞ [ x k − E ( X ) ] 2 f ( x ) d x \boldsymbol{D}(\boldsymbol{X})=\left\{\begin{array}{c} {\sum_{k=1}^{\infty}\left[\boldsymbol{x}_{k}-\boldsymbol{E}(\boldsymbol{X})\right]^{2} p_{k},} \\ {\int_{-\infty}^{\infty}\left[\boldsymbol{x}_{k}-\boldsymbol{E}(

引言 　　【比较官方的简介】数理统计学是一门以 概率论为基础 ，应用性很强的学科。它研究怎样以有效的方式收集、 整理和分析带有随机性的数据，以便对所考察的问题作出正确的推断和预测，为采取正确的决策和行动提供依据和建议。数理统计不同于一般的资料统计，它更侧重于应用随机现象本身的规律性进行资料的收集、整理和分析。 　　【简单的讲】，就是 通过样本分析来推断整体。 　　【意义或者重要性】在这个大数据时代，数据是非常重要的。怎样挖掘数据内部的规律或者隐含的信息，变得尤为重要。当时我们是不可能获得整体的数据的，所以我们只能通过抽取样本，进而通过样本来推断整体的规律。 　　【目录】 　　 第一章、样本与统计量 　　　　 一、引言： 　　　　 二、总体与样本： 　　　　 三、统计量： 　　　　 四、常用分布： 　　 第二章、参数估计 　　　　一、引言： 　　　　 二、点估计—— 矩估计法 ： 　　　　三、点估计—— 极大似然估计 ： 　　　　四、估计量的优良性准则 　　　　五、区间估计——正态分布 　　　　　　 1、引入 　　　　　　2、 单个正态总体参数的区间估计 　　　　　　 3、两个正态总体的区间估计 　　　　六 、区间估计——非正态分布： 　　　　　　1、大样本正态 近似法 　　　　　　2、二项分布 　　　　　　3、泊松分布 　　 第三章、假设检验 　　　　一、引言： 　　　　二

概念 为了得到一致假设而使假设变得过度严格称为过拟合[1] 给定一个假设空间H，一个假设h属于H，如果存在其他的假设h’属于H,使得在训练样例上h的错误率比h’小，但在整个实例分布上h’比h的错误率小，那么就说假设h过度拟合训练数据。 过拟合的示意图： 在上图中训练样本存在噪声，为了照顾它们，分类曲线的形状非常复杂，导致在真实测试时会产生错分类. 直白理解：在神经网络中，首先根据训练数据集进行训练，训练结果的好坏，通过一个损失函数的对预测值和实际真实值进行判断，当预测值和真实值对比，损失最小时，即拟合的很好，则训练的结果OK，如上图，蓝色的分类和红色的分类，通过复杂的曲线，完全在训练集上分类准确。其实用这个曲线去分类或预测实际（测试）数据集时，则会出现不准确的现象，则这种情况就是过拟合。如下图： 上图a，在训练集上，中间的虚线，已完全分开了小圆点和三角形，但是在测试集上（上图b），虚线还是把原点分类到了三角形这边。 表1 过拟合与欠拟合的判断标准 过拟合原因 （1）建模 样本 选取有误，如样本数量太少，选样方法错误，样本标签错误等，导致选取的样本数据不足以代表预定的分类规则； （2）样本噪音干扰过大，使得机器将部分噪音认为是特征从而扰乱了预设的分类规则； （3）假设的模型无法合理存在，或者说是假设成立的条件实际并不成立； （4）参数太多，模型复杂度过高； （5）对于 决策树 模型

目录 1-PCA概述 2-理论推导 2.1-向量的内积与投影： 2.2-基的表示与变换： 2.3-协方差矩阵： 2.4-PCA推导 3-几何理解 4-计算过程 4.1-样本数小于特征数时的计算 4.2-matlab代码 5-实例 参考 1-PCA概述 主成分分析是一种常用的降维方法，它不使用标签信息，通过将原始坐标空间的数据（ d × 1 d\times 1 d × 1 ）投影到新的正交空间（ k × 1 k\times 1 k × 1 ）中实现数据降维，所谓的主成分就是指数据在新空间的基的方向。PCA以方差作为信息损失衡量的标准，使得数据降维过程中信息损失最小，即降维后数据的方差要尽量大。PCA首先找到所有数据方差最大的方向，并将其作为新的坐标空间的第一个轴的方向，然后在这个方向的垂直超平面上寻找第二个方差最大的方向，并作为新坐标空间第二个轴的方向，以此类推，直到找到需要的k个方向，也就是K个主成分，显然这k个新的基方向是两两垂直的。PCA的主要过程可以用“扭动坐标轴，保留K个轴”来形容。 为什么要以方差最大为依据呢？降维是为了数据更好地表示与计算，显然我们不希望降维后的数据成了一坨，使得原本分界明显的数据掺和在一起。例如，将数据投影到一维坐标系中，显然绿色的投影更好一些，因为其分散程度大，也就是方差更大。 对n个d维数据构成的数据集 X X X （ d × n d\times

为什么样本方差的分母是n-1？最简单的原因，是因为因为均值已经用了n个数的平均来做估计在求方差时，只有(n-1)个数和 均值信息 是不相关的。而你的第ｎ个数已经可以由前(n-1)个数和均值　来唯一确定，实际上没有信息量。所以在计算方差时，只除以(n-1)。 那么更严格的证明呢？请耐心的看下去。 样本方差计算公式里分母为 的目的是为了让方差的估计是无偏的。 无偏的估计(unbiased estimator)比有偏估计(biased estimator)更好是符合直觉的，尽管有的统计学家认为让mean square error即MSE最小才更有意义，这个问题我们不在这里探讨；不符合直觉的是，为什么分母必须得是 而不是才能使得该估计无偏。 首先，我们假定随机变量的数学期望是已知的，然而方差未知。在这个条件下，根据方差的定义我们有 由此可得 因此 是方差的一个无偏估计，注意式中的分母不偏不倚正好是！这个结果符合直觉，并且在数学上也是显而易见的。 现在，我们考虑随机变量 的数学期望是未知 的情形。这时，我们会倾向于无脑直接用样本均值 替换掉上面式子中的 。这样做有什么后果呢？后果就是，如果直接使用 作为估计，那么你会倾向于低估方差！ 这是因为： 换言之，除非正好，否则我们一定有 而不等式右边的那位才是的对方差的“正确”估计！ 这个不等式说明了，为什么直接使用 会导致对方差的低估。 那么

目录 1.假设检验的基本问题 2.一个总体参数的检验 3. 两个总体参数的检验 1.假设检验的基本问题 假设检验是推断统计的另一项重要内容，它与参数估计类似，但角度不同，参数估计是利用样本信息推断未知的总体参数，而假设检验则是先对总体参数提出一个假设值，然后利用样本信息判断这一假设是否成立。 1.1 假设的陈述 1.对总体参数的具体数值所作的陈述，称为假设，或称为统计假设。 2. 先对总体参数提出某种假设，然后利用样本信息判断假设是否成立的过程，称为假设检验。 3. 通常将研究者想收集证据予以支持的假设称为备择假设，或称为研究假设，用H1或Ha表示。 4.通常将研究者想收集证据予以反对的假设称为原假设，或称零假设，用H0表示。 备选假设具有特定的方向性，并含有符号“>”或“<”的假设检验，称为单侧检验或单尾检验。 在单侧检验中，由于研究者感兴趣的方向不同，又可以分为左侧检验和右侧检验。如果研究者选择的备选假设的方向是“<”，称为左侧检验反之选择是“>”，称为右侧检验。 备选假设没特定的方向性，并含有符号“！=”的假设检验，称为双侧检验或双尾检验。 1.2 两类错误与显著性水平 当原假设为真时拒绝原假设，所犯的错误称为第一类错误， 又称弃真错误。犯第一类错误的概率通常记为a. 当原假设为假时没有拒绝原假设，所犯的错位称为第二类错误，又称取伪错误。犯第二类错误的概率通常记为b。