参数估计

在上一章讲述了如何描述数据之后，统计的下一项任务就是如何通过抽样推测整体的信息。在 统计01：概述 中，我们介绍了要得到群体的分布，最准确的办法是收集整个群体的数据，当群体数据量小的时候当然可以这么做，但是当数据量非常大时，就变得不现实了，因此人们想到了抽样的方法以达到“窥一斑而知全豹”的目的。用样本来推测群体的信息，这被称为统计推断(statistical inference)。本章主要介绍统计推断中的参数估计(parameter estimation)部分，即通过样本数据估计出群体分布的参数信息，这具体又可以分为点估计(point estimation)和区间估计(interval estimation)。统计推断的另一部分，为假设检验(hypothesis testing)，即我们先对总体的参数作出一个假设，然后搜集样本数据，计算出样本统计量，通过这些数据来推定我们的假设的可信性，并作出接受假设还是拒绝假设的判断。本章将主要介绍参数估计中的点估计部分。 点估计 点估计应用于这样的情形，我们已经知道了群体的分布，但是其中含有未知参数，比如我们知道湘北中学学生的身高服从正态分布，但是我们并不知道这个分布的均值以及标准差。由于湘北中学共计有10000名学生，如果统计全部学生的身高数据有困难的话，我们可以采用参数估计的方法，从10000名学生中抽取1000名学生来进行采样

本篇博客主要详细介绍朴素贝叶斯模型。首先贝叶斯分类器是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类器。而朴素贝叶斯分类器是贝叶斯分类器中最简单，也是最常见的一种分类方法。并且，朴素贝叶斯算法仍然是流行的十大挖掘算法之一，该算法是有监督的学习算法，解决的是分类问题。该算法的优点在于简单易懂、学习效率高、在某些领域的分类问题中能够与决策树、神经网络相媲美。但由于该算法以自变量之间的独立（条件特征独立）性和连续变量的正态性假设为前提(这个假设在实际应用中往往是不成立的)，就会导致算法精度在某种程度上受影响。 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法，是经典的机器学习算法之一。最为广泛的两种分类模型是决策树(Decision Tree Model)和朴素贝叶斯模型（Naive Bayesian Model，NBM）。和决策树模型相比，朴素贝叶斯分类器(Naive Bayes Classifier 或 NBC)发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。理论上，NBC模型与其他分类方法相比具有最小的误差率。 历史背景解读： 18世纪英国数学家托马斯·贝叶斯(Thomas Bayes，1702～1761)提出过一种看似显而易见的观点：

转自： https://blog.csdn.net/qq_39355550/article/details/81809467 原理： 极大似然估计是建立在极大似然原理的基础上的一个统计方法，提供了一种给定观察数据来 评估模型参数的方法 ，即： “模型已定，参数未知” 。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大。 总结： 极大似然估计 利用已知的样本结果 ，反推最有可能（最大概率）导致这样结果的参数值。即MLE的目标是找出一组参数(模型中的参数)，使得模型产出观察数据的概率最大。 记已知的样本集为： 似然函数（linkehood function）：联合概率密度函数 称为相对于 的θ的似然函数。 如果 是参数空间中能使似然函数 最大的θ值，则 应该是“最可能”的参数值，那么 就是 θ的极大似然估计量 。它是样本集的函数： 极大似然估计量求解： 实际中为了便于分析，定义了对数似然函数： 1. 未知参数只有一个（θ为标量） 在似然函数满足连续、可微的正则条件下，极大似然估计量是下面微分方程的解： 2.未知参数有多个（θ为向量） 则θ可表示为具有S个分量的未知向量： 记梯度算子： 若似然函数满足连续可导的条件，则最大似然估计量就是如下方程的解。 方程的解只是一个估计值，只有在样本数趋于无限多的时候，它才会接近于真实值。 极大似然估计的例子 例1

目录 1 非参数回归-核平滑 1.1 概念和计算 1.2 Nadaraya-Watson回归 1.3 高斯核 2 高斯核平滑过程-Python实现 2.1 加载库和生成数据 2.2 Full Width at Half Maximum (FWHM) 2.3 分步进行平滑 2.4 二维平滑 2.5 为什么要进行平滑 3 非参数密度估计（Non-parametric density estimation） 3.1 直方图 3.2 非参数密度估计的通常形式 3.3 Parzen windows 3.4 Smooth kernels 3.4.1 概念-为什么选择？ 3.4.2 如何选择Bandwidth 4 总结 1 非参数回归-核平滑 1.1 概念和计算 非参数化回归 是指并不需要知道总的分布的情况下进行的一种统计推断回归方法。 核平滑 是一种用来估计实值方程的统计方法，其实也就是一种非参数回归。核平滑来作为周围观察数据的 加权平均值 。权重由核确定，比如越近的数据权重越大。估计方程式平滑的，平滑程度由一个参数控制。 当预测变量的 维度小 时（p < 3），这个技术是最有效的，比如对于数据可视化。 计算过程如下： 参数意义如下： 令Y(X) 是一个关于X的连续函数。对于每一个X0，Nadaraya-Watson 加权平均值为 (smooth Y(X) estimation) 1.2

要了解极大似然估计，首先需要了解什么是似然函数。 比如说似然函数： 其中，x表示一个具体的数据，θ表示模型参数。 如果θ是确定的，x是变量。则这个函数是概率函数，它描述对于不同样本点x，其出现的概率是多少。 如果x是已知的，θ是变量。这个函数叫做似然函数，它描述对于不同的模型参数，出现x这个样本点的概率是多少。 最大似然估计（MIE） 假设有一个造币厂，生产某种硬币，现在我们拿到一枚这样的硬币，如果这枚硬币不是均匀的，那么这枚硬币正反面出现的概率θ各是多少？ 于是我们拿这枚硬币抛了10次，得到的数据 是：反正正正正反正正正反。我们想求的正面概率 θ 是模型参数，而抛硬币模型我们可以假设是二项分布。 这时我们的实验结果是什么呢？ 注意，这是个只关于 θ θ 的函数。而最大似然估计，顾名思义，就是要最大化这个函数。我们可以画出 f ( θ ) f(θ) 的图像： 可以看出，在 θ = 0.7 ，似然函数取得最大值。 且慢，一些人可能会说，硬币一般都是均匀的啊！ 就算你做实验发现结果是“反正正正正反正正正反”，我也不信 θ=0.7 。 极大似然估计提供了一种给定观察数据来评估模型参数的方法，即“模型已定，参数未知” 例子二、 假如有一个罐子，里面有黑白两种颜色的球，数目多少不知，两种颜色的比例也不知。我 们想知道罐中白球和黑球的比例，但我们不能把罐中的球全部拿出来数

文章目录 基本概念 参数估计—点估计 1 | 矩估计法 1.1 方法 1.2 矩估计实例： 2 | 极大似然估计 2.1 方法 2.2 极大似然估计例子 3 | 贝叶斯估计 3.1 方法 3.2 Bayes估计例子 4 | 点估计优良性准则 4.1 估计量的无偏性 4.2 数量指标—均方误差 参数估计—区间估计 基本概念 总体： 总体就是一个概率分布。总体分布为指数分布就是指数分布总体，总体分布为正态分布时称为正态分布总统。 总体与分布簇： 仅含一个参数的分布簇称为单参数分布簇，仅含两个参数的分布称为双参数分布簇，含多个参数则为多参数分布簇。有些情况下，只假定总体有一定的概率分布而又不能明确其数学形式，总体分布不能通过若干参数表达出来，这种情况称为非参数总体。 有限总体与无限总体： 指数分布总体与正态分布总体称为无限总体。实际上，现实世界中，多数情况下，总体总是由有限个个体构成，从而其总体总是有限的，其分布也是离散分布，引入无限总体的概念，在概率论上相当于用一个连续分布的总体去逼近这个离散分布。 样本： 按一定的规定从总体中抽出的一部分个体（每个个体同等机会被抽出，以及在这个基础上设立的某种附加条件） 统计量： 完全由样本所决定的量。也就是说统计量只依赖于样本，而不依赖于任何其他未知的量。不依赖于总体分布中所包含的未知参数。 假设 x 1 x_1 x 1 ​ , x 2 x_2 x

文章目录 基本概念 参数估计—点估计 1 | 矩估计法 1.1 方法 1.2 矩估计实例： 2 | 极大似然估计 2.1 方法 2.2 极大似然估计例子 3 | 贝叶斯估计 3.1 方法 3.2 Bayes估计例子 4 | 点估计优良性准则 4.1 估计量的无偏性 4.2 数量指标—均方误差 参数估计—区间估计 基本概念 总体： 总体就是一个概率分布。总体分布为指数分布就是指数分布总体，总体分布为正态分布时称为正态分布总统。 总体与分布簇： 仅含一个参数的分布簇称为单参数分布簇，仅含两个参数的分布称为双参数分布簇，含多个参数则为多参数分布簇。有些情况下，只假定总体有一定的概率分布而又不能明确其数学形式，总体分布不能通过若干参数表达出来，这种情况称为非参数总体。 有限总体与无限总体： 指数分布总体与正态分布总体称为无限总体。实际上，现实世界中，多数情况下，总体总是由有限个个体构成，从而其总体总是有限的，其分布也是离散分布，引入无限总体的概念，在概率论上相当于用一个连续分布的总体去逼近这个离散分布。 样本： 按一定的规定从总体中抽出的一部分个体（每个个体同等机会被抽出，以及在这个基础上设立的某种附加条件） 统计量： 完全由样本所决定的量。也就是说统计量只依赖于样本，而不依赖于任何其他未知的量。不依赖于总体分布中所包含的未知参数。 假设 x 1 x_1 x 1 ​ , x 2 x_2 x

文章目录 基本概念 参数估计—点估计 1 | 矩估计法 1.1 方法 1.2 矩估计实例： 2 | 极大似然估计 2.1 方法 2.2 极大似然估计例子 3 | 贝叶斯估计 3.1 方法 3.2 Bayes估计例子 4 | 点估计优良性准则 4.1 估计量的无偏性 4.2 数量指标—均方误差 参数估计—区间估计 基本概念 总体： 总体就是一个概率分布。总体分布为指数分布就是指数分布总体，总体分布为正态分布时称为正态分布总统。 总体与分布簇： 仅含一个参数的分布簇称为单参数分布簇，仅含两个参数的分布称为双参数分布簇，含多个参数则为多参数分布簇。有些情况下，只假定总体有一定的概率分布而又不能明确其数学形式，总体分布不能通过若干参数表达出来，这种情况称为非参数总体。 有限总体与无限总体： 指数分布总体与正态分布总体称为无限总体。实际上，现实世界中，多数情况下，总体总是由有限个个体构成，从而其总体总是有限的，其分布也是离散分布，引入无限总体的概念，在概率论上相当于用一个连续分布的总体去逼近这个离散分布。 样本： 按一定的规定从总体中抽出的一部分个体（每个个体同等机会被抽出，以及在这个基础上设立的某种附加条件） 统计量： 完全由样本所决定的量。也就是说统计量只依赖于样本，而不依赖于任何其他未知的量。不依赖于总体分布中所包含的未知参数。 假设 x 1 x_1 x 1 ​ , x 2 x_2 x

文章目录 基本概念 参数估计—点估计 1 | 矩估计法 1.1 方法 1.2 矩估计实例： 2 | 极大似然估计 2.1 方法 2.2 极大似然估计例子 3 | 贝叶斯估计 3.1 方法 3.2 Bayes估计例子 4 | 点估计优良性准则 4.1 估计量的无偏性 4.2 数量指标—均方误差 参数估计—区间估计 基本概念 总体： 总体就是一个概率分布。总体分布为指数分布就是指数分布总体，总体分布为正态分布时称为正态分布总统。 总体与分布簇： 仅含一个参数的分布簇称为单参数分布簇，仅含两个参数的分布称为双参数分布簇，含多个参数则为多参数分布簇。有些情况下，只假定总体有一定的概率分布而又不能明确其数学形式，总体分布不能通过若干参数表达出来，这种情况称为非参数总体。 有限总体与无限总体： 指数分布总体与正态分布总体称为无限总体。实际上，现实世界中，多数情况下，总体总是由有限个个体构成，从而其总体总是有限的，其分布也是离散分布，引入无限总体的概念，在概率论上相当于用一个连续分布的总体去逼近这个离散分布。 样本： 按一定的规定从总体中抽出的一部分个体（每个个体同等机会被抽出，以及在这个基础上设立的某种附加条件） 统计量： 完全由样本所决定的量。也就是说统计量只依赖于样本，而不依赖于任何其他未知的量。不依赖于总体分布中所包含的未知参数。 假设 x 1 x_1 x 1 ​ , x 2 x_2 x

文章目录 基本概念 参数估计—点估计 1 | 矩估计法 1.1 方法 1.2 矩估计实例： 2 | 极大似然估计 2.1 方法 2.2 极大似然估计例子 3 | 贝叶斯估计 3.1 方法 3.2 Bayes估计例子 4 | 点估计优良性准则 4.1 估计量的无偏性 4.2 数量指标—均方误差 参数估计—区间估计 基本概念 总体： 总体就是一个概率分布。总体分布为指数分布就是指数分布总体，总体分布为正态分布时称为正态分布总统。 总体与分布簇： 仅含一个参数的分布簇称为单参数分布簇，仅含两个参数的分布称为双参数分布簇，含多个参数则为多参数分布簇。有些情况下，只假定总体有一定的概率分布而又不能明确其数学形式，总体分布不能通过若干参数表达出来，这种情况称为非参数总体。 有限总体与无限总体： 指数分布总体与正态分布总体称为无限总体。实际上，现实世界中，多数情况下，总体总是由有限个个体构成，从而其总体总是有限的，其分布也是离散分布，引入无限总体的概念，在概率论上相当于用一个连续分布的总体去逼近这个离散分布。 样本： 按一定的规定从总体中抽出的一部分个体（每个个体同等机会被抽出，以及在这个基础上设立的某种附加条件） 统计量： 完全由样本所决定的量。也就是说统计量只依赖于样本，而不依赖于任何其他未知的量。不依赖于总体分布中所包含的未知参数。 假设 x 1 x_1 x 1 ​ , x 2 x_2 x