KL散度

参考https://zhuanlan.zhihu.com/p/22464760

1.KL散度为一维高斯分布时：

 

 画图表示式子证明两者的升降关系：

import numpy as np
import matplotlib.pyplot as plt

x = np.linspace(0.5, 2, 100)
y = -np.log(x) + x*x/2 - 0.5
plt.plot(x, y)
plt.show()

图为：

 

 

2.1.KL散度为多维高斯分布时：（设为n维）

 

 

 

 所以最终结果为：

 

来源：https://www.cnblogs.com/wanghui-garcia/p/11453900.html