RBF神经网络

穿精又带淫゛_ 提交于 2019-12-01 17:17:48

1.RBF径向基函数

本质上和RBF核函数的SVM很相似,使用径向基函数对数据重新构建,利用 Φ(||X- Xp||)来代替原始的数据向量表示,一共有P个中心,所以获得的新数据有P个维度,此时再对数据进行分类。输出等于W Φ(||X- Xp||),W为需要求解的权重。

 

数学上是可以对W求解求解的,但是Φ的选取有要求,同时还不包含正则,使求解的曲面可能有过拟合。

 

 带正则的求解如上图,第一项是均方误差,第二项是对F求的微分算子,代表了对F的先验知识。

这个方程的解也是可以得到的。

 

 

当G函数为多元高斯函数的时候

 

 

,整个式子就满足了西瓜书上使用高斯径向基的函数式,形式上一模一样

   

 

西瓜书上对c求解是使用聚类或者随机采样的方式来获取c,对于另外两个参数W和偏扩展常数使用BP算法求取。

也可以可以用聚类的方式计算,然后找到两种聚类中心的形式:

1.  d是数据中心间最大距离,M是数据个数,可以避免径向基函数过于集中或者分散

 

2.  但是不知道第二个参数如何选取。

 

此时如果只有一层的话可以使用 的方式去求,因为Φ不是方阵。

 

 

 也有做法是可以对数据中三个变量都做成可训练参数,求取梯度,求梯度和句子操作可见https://www.cnblogs.com/zhangchaoyang/articles/2591663.html。这里不具体描述。

 

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!