贝叶斯深度学习笔记

参考资料:
贝叶斯深度学习-博客园

1. 贝叶斯公式:

$p(z | x)=\frac{p(x, z)}{p(x)}=\frac{p(x | z) p(z)}{p(x)} \tag{1}$
其中,

• $p(z|x)$ 为后验.
• $p(x,z)$ 为联合概率.
• $p(x|z)$ 为似然.
• $p(z)$ 为先验
• $p(x)$ 为 evidence (可以理解为事件的观测值).

引入全概率公式$p(x)=\int p(x | z) p(z) d z$, 式1可以变换为
$p(z | x)=\frac{p(x | z) p(z)}{\int p(x | z) p(z) d z}\tag{2}$

2. 贝叶斯深度学习的训练

给定一个训练集$D=\left\{\left(\boldsymbol{x}_{1}, y_{1}\right),\left(\boldsymbol{x}_{2}, y_{2}\right), \ldots,\left(\boldsymbol{x}_{m}, y_{m}\right)\right\}$, 用 $D$ 训练一个贝叶斯神经网络, 则贝叶斯公式可以写为如下形式:
$p(w | \boldsymbol{x}, y)=\frac{p(y | \boldsymbol{x}, w) p(w)}{\int p(y | \boldsymbol{x}, w) p(w) d w} \tag{3}$
其中, $p(w)$ 通常初始化为标准高斯分布, 当 $w$ 已知时, $p(y | \boldsymbol{x}, w)$ 容易求得.

然而, 分母分母这个积分要在 $w$ 的取值空间上进行，我们知道神经网络的单个权重的取值空间可以是实数集 $R$，而这些权重一起构成的空间将相当复杂，基本没法积分。所以问题就出现在分母上。

目前贝叶斯训练主要用变分推断(variation inference).

来源：CSDN

作者：larkii

链接：https://blog.csdn.net/weixin_44795555/article/details/103552824