生成式对抗网络让AI可以绘制漫画
一支由斯坦福大学研究生、香港城市大学AI研究员和微软员工组成的队伍将于今年12月份参加由美国计算机协会计算机图形专业组(ACM SIGGRAPH)在东京举办的计算机图形学顶级年度会议SIGGRAPH Asia 2018,并将在会上展示一项不可思议的AI技术——利用神经网络绘制漫画。
此AI实际上是一对生成式对抗网络(generative adversarial networks,GAN),该研究小组将它命名为CariGANs:其中一个神经网络CariGeoGAN确定照片中人脸的几何形状,然后把它映射到漫画模型;另一个神经网络CariStyGAN则进行“风格转换”,或将艺术表现应用到几何图形。
为了赋予CariGANs将普通肖像转化成讨喜漫画的能力,这个研究小组用数千张手绘图像对系统进行了训练。
两项研究分别确定了该机器的效能。第一项研究主要是为了确保AI绘制的漫画能保留与原肖像画主题的一致性,研究小组认为,一幅好的漫画虽然有夸张的表达形式,但必须抓住人物的本质特征。这个小组进行了第二项研究来确定这种“绘图”方式的整体效能是否比得上人类的手绘,结果显示,CariGANs生成的漫画足以与手绘艺术家的作品相媲美。
CariGANs AI还可以从视频中分解每一帧画面并创建漫画,基本上,从单个帧生成的漫画会和其他帧保持一致性,这个功能对动画师而言非常有用,提供了一种滑稽而准确的视角来审视视频,并证明了艺术与AI的结合能传播某些有关人文精神的东西。此外,该AI甚至还可以逆向还原一幅漫画来确定漫画对应的原型,研究人员表示他们相信这可能有助于漫画中的面部识别技术开发。