乡村爱情刘能赵四打起来搞笑片段(迪士尼版乡村爱情)(1)

【新智元导读】最近,国外两个技术小哥用StyleGAN2开发了一款AI应用,叫做「Toonify Yourself!」,输入照片,就知道自己的迪士尼脸长什么样。小编用它玩了玩中国电视剧《乡村爱情》里的人物,童话里走出来的大叔们,还挺可爱的!

StyleGAN2太好玩了!

什么萌妹子变脸奥巴马,什么美国总统一顿切换……

but,都是国外的有啥意思?来点接地气的!

童话里走出来的刘能叔,你见过吗?

乡村爱情刘能赵四打起来搞笑片段(迪士尼版乡村爱情)(2)

最近,国外两个技术宅Justin Pinkney和Doron Adler开发了一种AI「神奇」,分分钟秒变「迪士尼脸」。假如你想知道自己在迪士尼动画里会是什么样子,只要在网站上上传一张照片就能解锁了。

于是,我们选择了刘能叔。

Toonify Yourself!两个生成器「捏造」迪士尼脸

StyleGAN2大家都不陌生,这个火爆的技术被称作「换脸神器」,是用真实人脸数据集训练而成,但对生成卡通人脸不太在行。

但开发者想到了一个把两个生成器「捏」在一起的好方法。

乡村爱情刘能赵四打起来搞笑片段(迪士尼版乡村爱情)(3)

他们发现,低分辨率层影响的是头部姿势和脸型,高分辨率层控制的是光线和表面质感纹路之类。于是,他们从原始的人脸生成器上提取了高分辨率层;从用迪士尼图片调教过的生成器(用了300张迪士尼图像)上提取了低分辨率层,把它们捏合在一起。

乡村爱情刘能赵四打起来搞笑片段(迪士尼版乡村爱情)(4)

让原始StyleGAN2生成了一堆真实人脸,让迪士尼版StyleGAN2生成了一堆卡通脸。就这样,用一对对的数据为AI提供训练素材。

训练完成之后,只要输入一张人脸照片,生成器就给出迪士尼脸了。

谁动了我的眼镜?

但是目前来说此生成器还不算完美。开发者们表示:该算法在无噪声的高分辨率图像上效果最好,直视镜头似乎也不错。

不过好多网友发现,生成后的图像似乎对眼镜不太友好,比如下面这张:

乡村爱情刘能赵四打起来搞笑片段(迪士尼版乡村爱情)(5)

用男神的照片试试:

乡村爱情刘能赵四打起来搞笑片段(迪士尼版乡村爱情)(6)

好像眼镜也很变形。

对此,开发小哥解释道,因为动画电影中戴眼镜的人物并不多,因此该模型一般会将它们的大部分移除。

乡村爱情刘能赵四打起来搞笑片段(迪士尼版乡村爱情)(7)

训练一个pix2pixHD模型来对任意图像应用转换

该系统采用了深度学习的方法,它是基于蒸馏混合StyleGAN模型到一个pix2pixHD图像到图像转换网络。

最初的Toonification方法涉及到一个昂贵的优化过程,即使用混合的StyleGAN模型对人脸进行编码,这需要在GPU上运行几分钟。

显然,这并不能把它作为一个网络应用程序!

深度学习的一个常见模式是,用更多的神经网络取代代价高昂的优化。于是,他们使用了StyleGAN2精馏中描述的用于前馈图像处理的基本思想,即训练一个pix2pixHD模型来对任意图像应用转换,而不是首先执行优化步骤。

乡村爱情刘能赵四打起来搞笑片段(迪士尼版乡村爱情)(8)

左:原始,中:优化,右:pix2pixHD

这里的新颖之处在于,用于训练过程的图像对是由原始FFHQ模型和混合模型生成的图像对。

虽然pix2pixHD模型只对两种StyleGAN模型生成的图像进行训练,但当训练完成后,所以应该能够将它应用到任何图像上,并得到相同的toonification结果

看!即使是油画脸也完全OK!

乡村爱情刘能赵四打起来搞笑片段(迪士尼版乡村爱情)(9)

你想试试吗?

首先,在手机或相机上拍照,然后前往toonify.justinpinkney。

-通过页面顶部的网站上载器浏览照片。

-点击“ Toonify”按钮。

-不久之后,您的Toonified图片就会出现在原始图片的旁边。您可以单击它或将其拖离屏幕以保存它。

乡村爱情刘能赵四打起来搞笑片段(迪士尼版乡村爱情)(10)

还瞅啥呢?赶紧试试啊!

参考链接:

toonify.justinpinkney/

乡村爱情刘能赵四打起来搞笑片段(迪士尼版乡村爱情)(11)

,