机器学习基础-数理统计

数理统计与参数估计

统计量

• 期望/方差/偏度/峰度
• 协方差和相关系数
• 独立和不相关

  期望

• 数学期望（均值）是实验中每次可能结果的概率乘以其结果的总和。它反映随机变量平均取值的大小。
• 离散型
  • 如果随机变量只取得有限个值或无穷能按一定顺序一一列出，其值域为一个或若干个有限或无限区间
  • 
• 连续的
  • 设连续性随机变量X的概率密度函数为f(x)，若积分绝对收敛，则称积分的值为随机变量的数学期望，记为E(X)

期望的性质

• 无条件成立
  • E(kX) = kE(X)
  • E(X + Y) = E(X) + E(Y)
• 若X和Y相互独立
  • E(XY) = E(X)E(Y)
  • 反之不成立，若E(XY)=E(X)E(Y),只能说明X和Y不相关

方差

• 用来度量随机变量和数学期望之间的偏离程度（统计中的方差（样本方差）是每个样本值与全体样本值的平均数之差的平方值的平均数）
• 标准差、方差越大，离散程度越大

方差的性质

• D(CX) = C^2*D(X), D(X+C)=D(X)
• D(X+Y) = D(X) + D(Y) + 2Cov(X,Y)
• 当X， Y 是不相关的随机变量则：D(X+Y)=D(X)+D(Y)
• 协方差：Cov(X,Y) = E{[X - E(X)][Y - E(Y)]}
• 方差就是协方差的一种特殊情况，即两个变量相同

• 离散型方差计算：展开后

• 连续性方差计算：展开后

随机变量的期望和方差

• 离散型：
• 连续型：

协方差

• 协方差表示的是两个变量的总体的误差。
• 计算公式：
• 协方差的性质：
• 协方差是两个随机变量具有相同方向变化趋势的度量
  • 若Cov(X,Y) > 0,它们的变化趋势相同
  • 若Cov(x,Y) < 0,它们的变化趋势相反
  • 若Cov(X,Y) < 0,称X和Y不相关

Pearson相关系数

• 定义：
• 相关系数=0，则称X与Y不线性相关

协方差矩阵

大数定律/中心极限定理

矩估计

• 中心矩和原点矩

最大似然估计

• 过拟合

事件的独立性

• 给定A和B两个事件，若有P(AB)=P(A)(B),则称事件A和B相互独立。

来源：https://www.cnblogs.com/li-code/p/10561692.html