Rain Streak Removal Using Layer Priors(基于高斯混合模型的层先验去雨方法)总结

雨燕双飞 提交于 2020-10-14 20:33:27

 

1.文章做出了哪些成果?:

 

在本文中,我们提出了一种有效的方法,使用简单的基于补丁的背景层和雨层的先验信息。这些先验是基于高斯混合模型的,能够适应雨带的多个方向和尺度。这种简单的方法比现有的定性和定量方法更好地去除雨纹。

 

2.前人成果有什么?改变了什么?改进的地方是什么?

 

解决不适定问题的现有的图像分解方法要么采用字典学习方法,要么在雨条纹的出现上施加低秩结构。虽然这些方法可以提高整体可见性,但它们往往会在背景图像中留下过多的雨痕或使背景图像过于平滑(平滑的定义见笔记)

 

 

Kang等人提出了一种将输入图像分解为低频分量(结构层)和高频分量(纹理层)的方法。高频分量包含背景对象的雨痕和边缘。该方法试图通过基于稀疏编码的HoG特征字典学习从高频层中分离出雨痕频率,通过将低频层和处理过的高频层合并得到输出。

 

改进点:

文章作者在图像分解的基础上,也是将输入图像分为背景层和雨纹层,不过作者在使用了背景层和雨纹层的先验来帮助图像分解,并且这些先验是居于GMMs模型的。(所以作者第对图像层施加的约束条件不同)

 

3.文章的创新之处?

①本文是第一篇用高斯混合模型补丁先验去除雨水的论文。

②在图像分解是,背景层和雨条纹层都加上了一定的约束条件(这样保证得出的结果不会太偏离预期)

 

4. 框架

核心算法如下:

算法1 利用层先验(优先级)去除雨痕 

输入:输入图像O;两层GMMs:GB和GR;

初始化: B ← O; R ← 0; ω ← ω◦;

Repeat(repeat即使迭代工作)

update H using Eq. 8; (代表公式8)

solve {B, R} by Eq. 9;

solve {gBi ,gRi } by Eq. 10;

ω = 2 ∗ ω;

until 直到收敛或最大迭代次数

输出:B层和R层的估计;

 

大致思路如下:

为了使问题得到很好的解决,我们在背景和雨组成部分上都采用了层优先级(即层先验)。更具体地说,使用基于补丁的先验思想是受Zoran和Weiss[29]的启发,他们使用高斯函数混合模型(GMMs)对图像块进行建模。这种方法比现有的先验模型(根据以往的经验得到的模型)更容易计算,如FE(19)或Weiss Freeman先验(25)。Shih等人最近的作品。[21]显示了在解决反射消除问题时使用GMMs作为优先级的优越性[14]。在我们的雨水去除方法中,为了建立背景斑块(即背景的小块)先验模型,我们使用基于自然图像的斑块训练的GMM。附加的梯度稀疏性约束可以进一步调整背景。至于雨层,我们也这样做,即通过收集位于无纹理背景(如天空 墙壁等)上的雨条纹(即雨痕)的图像块。

 

5. 存在问题或者可以改进的地方:

诸如估计GMMs的最佳补丁大小和位置、如何处理饱和降雨像素以及输出中剩余的降雨伪影等问题仍然是有待解决的问题

 

思考有没有更好的对背景层和雨条纹层的约束条件,或者找找是否有比Em算法更好的解决GMM参数的算法,思考解决图像不适定问题还有没有其他方法、解决非凸优化有没有更好的方案?

 

需要原文或者代码包可在下方评论并给出邮箱地址。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!