(2017-CVPR)Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network

大憨熊 提交于 2019-11-27 16:33:22

  本文采用生成对抗网络(GAN)对图像进行超分辨,并且采用了新的损失函数来得到具有逼真视觉效果的结果。

  在超分辨的过程中恢复图像的细节是亟待解决的问题,许多利用MSE作为损失函数的工作都具有很高的PSNR,但是它们恢复出的结果都是缺乏高频信息并且视觉效果并不令人满意。

 

 

  为了在高分辨率时也有契合的保真度,本文提出SRGAN来生成视觉效果逼真的HR图片,在SRGAN中,生成网络使用的是SRResNet,并且采用了新的损失函数,即视觉损失函数(perceptual loss)。视觉损失函数由两部分组成,对抗损失(adversarial loss)和内容损失(content loss)。对抗损失是用于区别生成的超分辨图像和原始图像的,而内容损失则是由视觉相似性而不是在像素域上的相似性来定义的。

 

  内容损失函数在本文中考虑了基于MSE和基于VGG网络的两种损失。采用MSE会得到PSNR很高的图像,但是缺少高频内容并且纹理会过渡平滑;而采用VGG网络损失尽管得到的PSNR不如MSE,但是其视觉效果却很好。

  为此,本文分别针对三种情况做了试验,SRGAN-MSE是以MSE作为内容损失函数的,SRGAN-VGG22是定义在VGG网络低级特征上的内容损失函数,而SRGAN-VGG54是定义在VGG深层网络的高级特征上的内容损失函数,它在关注图像的内容上拥有更大的潜力。最终结果表明SRGAN-VGG54的效果是最好的。

  总的来说,本文通过生成对抗网络的方法,采用了新的视觉损失函数,使得最终生成的HR图片拥有更好的纹理细节和更舒适的视觉效果,避免了以MSE作为损失函数时导致的高频信息缺失和图像过度平滑。

 

 

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!