GAN模型生成山水画,骗过半数观察者,普林斯顿大学本科生出品

风流意气都作罢 提交于 2020-12-04 15:01:06

作者 | 高卫华

出品 | AI科技大本营

近年来,基于生成对抗网络GAN模型,图像生成领域实现了许多有趣的应用,尤其是在绘画创作方面。

英伟达曾在2019年提出一款名叫GauGAN的神经网络作图工具,可以利用GAN将语意分割图转换为逼真的图像,即使不擅长作画的用户,也能有机会享受到作画的乐趣,将粗糙的涂鸦变成照片级的写实作品。通过100 万张图片的训练结果,该工具的神经网络技术能够根据对真实图像的了解,填充所有细节和纹理,以及反射、阴影和颜色,自动生成写实的美丽风景图。

此外,MIT和IBM沃森联合实验室也曾联合发布一个在线工具AI Portraits Ars,该工具可利用AI将用户上传的照片变成文艺复兴时期的大师画作,一度成为热门网站,其数据库涵盖从伦勃朗、提香再到梵高等著名艺术家的艺术绘画风格。并且,其研究人员表示,AI Portraits Ars并不是单纯的转换风格,而是由模型自己决定肖像的样式,完全重新设计照片中的面部线条。

肖像画方面,在CVPR2019上,清华大学计算机系的刘永进教授课题组提出了一个层次化的GAN模型APDrawingGAN,可将人脸照片转化为高质量的艺术肖像线条画。

前不久,reddit上的一个技术博主AtreveteTeTe基于StyleGAN模型,开发了一个可将普通人像照片卡通化的应用,并通过First Order Motion模型生成了动画;类似的AI应用还有Cartoonize,其核心技术来自CVPR 2020的投稿论文,在该应用上一键上传拍摄的图像或视频,就可以在很短时间内将它卡通化。

大多数GAN研究都集中在西方艺术上,目前我们已经看到不少AI生成写实主义、后现代,甚至是抽象主义的作品,而很少能看到AI在传统东方艺术上的表现。传统东方艺术同样拥有悠久的历史和深刻的文化意义,在美学上也与西方艺术一样值得深入研究。

近日,一位普林斯顿大学的本科学生Alice Xue将目光投向了中国山水画,在毕业论文中开发了一款名为SAPGAN(Sketch-And-Paint GAN)的AI模型,该模型可以“从无到有”生成高质量的中国山水画。

(a)由人类艺术家创建的中国山水画;

(b)基线模型(顶部绘画来自RaLSGAN,底部绘画来自StyleGAN2 );

(c)和(d)通过提出的Sketch-And-Paint框架,结合RaLSGAN和StyleGAN2绘制

实现过程

传统中国山水画在绘制过程中,一般有勾、皴、点、染等步骤,顾名思义,就是先勾画出大致轮廓,再进行渲染。而AIice提出的端到端生成中国山水画无条件输入模型,遵循的也是这个步骤。

为了实现这一过程,AIice构建了两个模型:Stage I: SketchGAN ;Stage II: PaintGAN。SketchGAN是从样本图像中采集高分辨率的边缘图,而PaintGAN是根据SketchGAN进行“翻译”创作,从而生成一幅完整的山水画。  

训练数据集

SAPGAN模型是基于一个新的中国传统山水画数据集上训练的,这一数据集不是来自百度或者谷歌,而是由作者本人收集画作并建立的。

AIice表示,目前的山水画数据集存在不唯一性和图像质量及数量不足的问题。为了促进该领域的更多研究发展,Alice建立了一个涵盖2192幅高质量中国传统山水画的新数据集,并在GitHub上发布了这一数据集,供公众研究使用。

数据集中的山水画来自史密森尼弗里尔美术馆、大都会艺术博物馆、普林斯顿大学美术馆和哈佛大学美术馆等开放式博物馆画廊,Alice还手动过滤掉了非景观艺术品,并手工裁剪调整其大小,以进行模型训练。

真实性测试

论文中提到,为验证SAPGAN创作画作的真实性,进行了一项有242名参与者的视觉图灵测试,而测试结果出乎意料。

SAPGAN创作出的画作被误认为人类艺术品的频率高达55%,而基线GAN模型创作的画作仅以11%的频率出现。在美学品质方面,SAPGAN模型在所有艺术类别中的评分也始终高于基线GAN模型。

测试人员中,有29位是中国人,其余都是以英语为母语的外国人。然而,比较其测试结果得出,华语应试者判断画作来源的准确率明显低于讲英语的应试者,说汉语的参与者平均得分为49.2%,明显低于说英语参与者的73.5%。也就是说,说中文的人70%的时候还会把SAPGAN的画误认为是人,而整体水平是55%。

显然,无论是否熟悉中国文化,参与者都难以区分画作的来源,由此也可见SAPGAN模型所生成画作的真实感。

更令人惊讶的是,在做这项研究之前,Alice从未上过机器学习课程,作为一个新手,她反而找到了更有趣的角度去处理问题,得出这样一项创新研究成果。

论文链接:

https://arxiv.org/pdf/2011.05552.pdf

数据集链接:

https://github.com/alicex2020/Chinese-Landscape-Painting-Dataset

更多精彩推荐

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!