无偏估计

0.背景 有一组独立同分布的样本 { x 1 , x 2 , . . . , x m } \{x_{1},x_{2},...,x_{m}\} { x 1 ​ , x 2 ​ , . . . , x m ​ } 服从高斯分布 p ( x i ) = N ( x i ; μ , σ 2 ) p(x_{i})=N(x_{i};\mu,\sigma^{2}) p ( x i ​ ) = N ( x i ​ ; μ , σ 2 ) 。高斯概率密度函数如下： p ( x i ) = 1 2 π σ 2 e x p ( − 1 2 ( x i − μ ) 2 σ 2 ) p(x_{i})=\frac{1}{\sqrt{2\pi\sigma^{2}}}exp(-\frac{1}{2}\frac{(x_{i}-\mu)^{2}}{\sigma^{2}}) p ( x i ​ ) = 2 π σ 2 ​ 1 ​ e x p ( − 2 1 ​ σ 2 ( x i ​ − μ ) 2 ​ ) 1.估计的偏差计算公式 b i a s ( θ ^ m ) = E ( θ ^ m ) − θ bias(\hat\theta_m)=E(\hat\theta_m)-\theta b i a s ( θ ^ m ​ ) = E ( θ ^ m ​ ) − θ 其中 θ \theta θ 是定义数据生成分布的 θ

总体方差与样本方差分母的小小区别，n还是n-1？ 引入 方差概念 方差计算 无偏估计 样本方差公式 相关参考链接 样本方差的自由度是n-1 引入 方差概念 方差是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量，用来度量随机变量和其数学期望（即均值）之间的偏离程度。 方差计算 定义： D X = E ( X − E X ) 2 = E X 2 − ( E X ) 2 D X=E(X-E X)^{2}=E X^{2}-(E X)^{2} D X = E ( X − E X ) 2 = E X 2 − ( E X ) 2 离散型和连续型的随机变量计算公式分别为： D ( X ) = { ∑ k = 1 ∞ [ x k − E ( X ) ] 2 p k , ∫ − ∞ ∞ [ x k − E ( X ) ] 2 f ( x ) d x \boldsymbol{D}(\boldsymbol{X})=\left\{\begin{array}{c} {\sum_{k=1}^{\infty}\left[\boldsymbol{x}_{k}-\boldsymbol{E}(\boldsymbol{X})\right]^{2} p_{k},} \\ {\int_{-\infty}^{\infty}\left[\boldsymbol{x}_{k}-\boldsymbol{E}(

无偏估计 所谓总体参数估计量的无偏性指的是 ， 基于不同的样本，使用该估计量可算出多个估计值，但它们的平均值等于被估参数的真值。 在某些场合下，无偏性的要求是有实际意义的。例如，假设在某厂商与某销售商之间存在长期的供货关系，则在对产品出厂质量检验方法的选择上，采用随机抽样的方法来估计次品率就很公平。这是因为从长期来看，这种估计方法是无偏的。比如这一次所估计出来的次品率实际上偏高，厂商吃亏了；但下一次的估计很可能偏低，厂商的损失就可以补回来。由于双方的交往会长期多次发生 ， 这时采用无偏估计，总的来说可以达到互不吃亏的效果。 不过，在某些场合中，无偏性的要求毫无实际意义。这里又有两种情况：一种情况是在某些场合中不可能发生多次抽样。例如，假设在某厂商和某销售商之间只会发生一次买卖交易，此后不可能再发生第二次商业往来。这时双方谁也吃亏不起，这里就没有什么“平均”可言。另一种情况则是估计误差不可能相互补偿，因此“平均”不得。例如，假设需要通过试验对一个批量的某种型号导弹的系统误差做出估计。这个时候，既使我们的估计的确做到了无偏，但如果这一批导弹的系统误差实际上要么偏左，要么偏右，结果只能是大部分导弹都不能命中目标，不可能存在“偏左”与“偏右”相互抵消，从而“平均命中”的概念。 由此可见，具有无偏性的估计量不一定就是我们“最需要”的“恰当”估计量 在概率论和数量统计中，学习过无偏估计

无偏和有偏 　　本质来讲，无偏/无偏估计是指估算统计量的公式，无偏估计就是可以预见，多次采样计算的统计量（根据估算公式获得）是在真实值左右两边。类似于正态分布的钟型图形。比如对于均值估计： mean = (1/n)Σxi 　　一定有的比μ大，有的比μ小。 　　那么对于有偏估计，就是多次采样，估算的统计量将会在真实值的一侧（都是大于或者都是小于真实值）。比如对于方差公式： S² = (1/n)Σ(xi - m) 　　从上面的式子我们可以知道，m是一个固定值，当且仅当m = mean(x)的时候S²取得最小值，这意味着，如果真实值μ ≠ mean(x)，那么必然有σ² < S²，这意味着S²就是一个有偏估计，因为S²都是分布在小于σ²的左侧。 　　另外从数学角度来讲，均值能够保持比较好的无偏性是因为均值计算过程本质还是一个线性过程，这个就是无偏；但是对于方差而言并不是线性模型，所以有偏。 孰优孰劣 　　但是有一点，无偏估计并不一定比有偏估计更加"有效"，因为所谓估算有效是指更加靠近真实值，这个靠近就是通过S²来体现出来，如果统计量估算值虽然有偏，但是更加靠近真实值，那么也是更加有效地；如下图所示： 　　左图是无偏的，结果围绕"真实值"，右侧是有偏的，结果偏向于"真实值"一侧，但是毫无疑问有偏的效果更好一些，因为更加接近真实值。 一致性 　　随着样本的增加，S²值将会越来越接近σ²

总体样本方差的无偏估计样本方差为什么除以n-1 本文链接： https://blog.csdn.net/qq_16587307/article/details/81328773 我们先从最基本的一些概念入手。 如下图，脑子里要浮现出总体样本 ，还有一系列随机选取的样本 。只要是样本，脑子里就要浮现出它的集合属性，它不是单个个体，而是一堆随机个体集合。样本 是总体样本中随机抽取一系列个体组成的集合，它是总体样本的一部分。 应该把样本 和总体样本 一样进行抽象化理解，因此样本 也存在期望 和方差 。 这里有一个重要的假设，就是随机选取的样本 与总体样本同分布，它的意思就是说他们的统计特性是完全一样的，即他们的期望值一样，他们的方差值也是一样的： 另外，由于每个样本的选取是随机的，因此可以假设 不相关(意味着协方差为0，即 )，根据方差性质就有: 另外，还需要知道方差另外一个性质： 为常数。 还有一个，别忘了方差的基本公式： 以上的公式都很容易百度得到，也非常容易理解。这里不赘述。 2）无偏估计 接下来，我们来理解下什么叫无偏估计。 定义 ：设统计量 是总体中未知参数 的估计量，若 ，则称 为 的 无偏估计量 ；否则称为有偏估计量。 上面这个定义的意思就是说如果你拿到了一堆样本观测值，然后想通过这一堆观测值去估计某个统计量 ，一般就是想估计总体的期望或方差