贝叶斯神经网络的辩论

贝叶斯概率体系的研究有一段时间了，目前在推进贝叶斯神经网络，看到这篇文章的辩论，这里保存下。

https://mp.weixin.qq.com/s?__biz=MzI5NTIxNTg0OA==&mid=2247500837&idx=1&sn=df0915b394369cfe5c9e936c44143941&chksm=ec5473a2db23fab4ddfc73cd71ceb564f3d117413bf23409f10a914d4f785fa2bcc198c8375d&mpshare=1&scene=1&srcid=&sharer_sharetime=1579477971698&sharer_shareid=5602b79897cf8f6f7ddc6bebc0fd31a9&key=d9ed8b7b5a182cf8319326febeea126dc1a0f133c658544dc5a4550e0eda8ec115e8e4e4c539675ba2269197e22ec02fb6bef89e14a5eb4947f8da7d96a9dcdca8990658151a21d1a2f4588fae22ec06&ascene=1&uin=MjkzMjQ1MDQyMQ%3D%3D&devicetype=Windows+10&version=6208006f&lang=zh_CN&exportkey=A6m66N3FpiMED6fEohk8tnQ%3D&pass_ticket=RcwNUyqM5HUb5Q0toVx4GZ7wGLL6ir4vcFrHTHhGmEj4eN94mJ423SQNuuAJpNn1

摘要：

1、BNN的简要介绍

权重服务分布，在KL-loss后向传播上，先验分布的超参和激活函数选取还很重要。贝叶斯还有什么好处，正则化效果之外，正则化是通过稀疏解来发挥作用，但稀疏解和超参训练有关，这个目前还没看到相关文献的证明和实验。

2、论点：

关键是对特定场景的先验有认知，否则先验作用就不大了。另外就是可解释性。 不好就论点更多发挥，但亲测在某些数据集上特别有效。如笔者用在推荐系统的矩阵分解上，高斯分布的后验具有解析解，速度非常快，但随着负样本采样增多，性能并未如SVD那样提升。

这个论点还是可以接受的。

更深的贝叶斯神经网络，欢迎到个人github上一起探讨。

 

来源：CSDN

作者：fjssharpsword

链接：https://blog.csdn.net/fjssharpsword/article/details/104047480