简单草图也能瞬间生成真实人脸照?
我的极刻人工智能的功能真的是越来越强大了。小黑前几天刚刚介绍过可以写文章的人工智能GPT-3,现在,又来了几个可以画画的人工智能。
这些人工智能有的可以自动生成人脸照片,有的可以让人变成“迪士尼小公主”。具体情况,还是跟着小黑一起来看看吧。
让简笔画变成真人照片,人工智能是怎么做到的?
将3D物体绘制成平面图片的人工智能算法已经不算什么新鲜事了,而且实现原理也并不复杂:获取3D模型输入,并逐步细分,最后绘制出这一3D对象的平面图像进行输出。
但是要将这些步骤反过来,在平面图片中生成逼真的图像,是不是听起来有点像是科幻小说中的情节?其实,在一年半以前,英伟达的科学家就开始使用这一算法了。
不过,这个算法的局限性在于无法生成真实的人脸。
为了达到这一目标,科学家们做出了许多努力,但一般的AI算法都需要细节完善的图片进行处理,因此实用性和普及度都不够高。
但是,这个问题现在得到了最终解决:新的AI算法DeepFaceDrawing,可以帮助用户从手绘简图中深度生成面部图像。
DeepFaceDrawing是一种基于深度学习的图像-图像转换技术。这一技术可以帮助像小黑这样的手残党画出逼真的人像。
根据该团队的说法,“我们的主要想法是从真实的面部素描图像中隐式地学习一个合理的面部描写空间,并在该空间中找到最接近的点来模拟该输入草图。”
DeepFaceDrawing的深度学习框架由三个模块组成,分别是CE(组件嵌入)、FM(特征映射)和IS(图像合成)。CE模块用来识别一些突出的面部特征,如眼睛、鼻子、嘴巴等,也包括面部剩余的部分。之后,由FM将这些特征映射到即将生成的人脸中,最后由IS生成完整的人脸。
不仅如此,它还可以识别用户画出的不同表情,并以此生成不同表情的人脸图片。
除此之外,用户还可以不画任何物体,只通过选择面部特征,就可以得到人脸图片。这项技术被称作“Face Copy-Paste”。
当然,这项技术还有一些局限性,例如只能生成看上去“漂亮”的脸,但不可否认的是,至少从小黑的角度来说,这项技术的实际运用会相当广泛:
至少警察叔叔们在需要绘制人像的时候,可以先让受害者绘制简单草图,并稍作调整,就可以第一时间知道犯罪嫌疑人的大概长相,而不必再等专门的模拟画像专家上门了。要知道,模拟画像专家可是非常稀有的呢。
通过照片,一键进入迪士尼的世界
如果上面那个AI算法在现实中非常有用,那么接下来小黑要介绍的这个算法,则可以满足每个孩子的“卡通梦”。
这个算法的名字叫作Toonify Yourself。在介绍之前,小黑先放出几张通过它制作的名人卡通头像让大家欣赏一下吧。
虽然小黑个人觉得,这个AI的实现方式并不困难,但它的火爆还是让小黑吃惊:
根据Toonify Yourself开发者的阐述,这个工具刚刚发布就完成了25万次服务,甚至一度还因为挤爆了服务器被迫下线。好在目前,这个工具已经重新上线,感兴趣的小伙伴们可以通过国外的搜索引擎搜索“Toonify Yourself”,来进行体验。
根据开发者之一的Doron Adler介绍,Toonify Yourself采用的是混合网络(Blended Network)机制,这个机制虽然复杂,但整体工作流程与其他的人工智能是一样的:首先,通过预训练模块对数量庞大的数据学习,之后再使用处理模块进行图像的混合生成。
为了保证生成照片的漫画效果,他们收集了迪士尼、皮克斯、梦工厂等动画制作厂商的约300多张漫画图像作为学习数据集。
而在图像处理模块中,模型中的不同层会以不同方式影响人物的生成效果。低分辨率层决定头部姿势和人脸形状,而高分辨率层则控制光线和纹理等细节。
Toonify Yourself使用的 Layer Swapping 脚本可以从原始图片中提取高分辨率层,并从预训练模块的微调模型中提取低分辨率层,最终得到具有卡通人脸结构,且和照片一样逼真的混合模型。
或许在不久的将来,Vlogger们不止可以拍出真人视频,还可以通过这一技术拍出不逊于迪士尼大片的动画视频来。
在人工智能越来越发达的现在,许多我们原先认为的复杂工作,都可以轻松解决。这就解放了许多人的生产力,也降低了不少工作的门槛。
小黑始终相信,人工智能可以让我们在进行创作时,有更轻松的工作方式。相信通过它的不断发展,我们可以在最后真正摆脱那些繁琐无用的工作,给每一个人的创意添上一双翅膀。
图源:网络、官网