AI技术新突破,让2D图画跃然跳出纸面变3D!
人工智能架构师今天要介绍的新技术,是华盛顿大学的博士生Chung-Yi Weng和他的一些朋友创造了一些真正令人惊讶的东西。可能会让不少人有个大胆的想法。因为2D形象变成3D“活物”,不再是魔法。
名为“Photo Wake-Up”的软件允许角色动画简单地“走出”静态图像框架,而不会在它们后面留下一个洞。研究结果发表在最近提交的论文中。
其方法是将单张照片中的2D主体识别为输入,并创建该主题的3D动画版本。然后动画可以以3D的形式“走出,跑,坐,或跳”。
它可以重新定义我们与照片互动的方式。“我们相信这种方法不仅能让人们以新的方式来欣赏和照片互动,而且还提出了从单一图像中重建虚拟化身的途径。
如下面的动态图所示,这种效果令人惊叹,尽管有些不和谐。可以看到篮球传奇人物斯蒂芬库里跳起来,直接从他的相框慢跑。毕加索的一个超现实主义作品完美地将自己从框架中切割下来,将画面留在了它的后面。
为了使效果正常工作,软件需求都是一个展示轮廓的静止框架。它会切割出2D形状,并围绕与其匹配的3D框架进行扭曲。
研究人员曾试图在过去创造出类似的效果,但结果却不尽人意。Chung-Yi Weng的新方法增加了一项重要的新功能:它可以识别不同的身体部位,如手臂和腿,并以与2D切口完全匹配的方式单独扭曲每个部位。
该软件甚至可以在增强现实中使用,并且可以在我们下次访问美术馆时重新定义我们与二维艺术品的互动方式。
无论你想“复活”的是梅西.jpg、库里.png,还是詹姆斯.jpeg,又或希望新垣结衣.tiff、波多野结衣.raw“动起来”,这项名为照片唤醒(Photo Wake-Up)的新技术,都能让你得偿所望。
Photo Wake-Up还能赋予二次元角色更大能量,并可以把钢铁侠带到你身边。
甚至抽象画都能搞的定,毕加索“玛雅和玩具船”中的主角可以走出来,像人类那样活动四肢:
你还可以借此把角色们AR/VR化,只要动动手指,它们就能出现在你身边的世界:
不管是照片、卡通还是抽象角色,但凡有个人样,照片唤醒技术都能唤醒它们体内沉睡的灵魂,让它们从二维化世界中苏醒过来。
有了这项技术,或许游戏、动画制作行业的设计师们可能要开心坏了,只要画个2D的角色,自动就能变成3D。
看到这些效果展示,你是否觉得AI技术开发的Photo Wake-Up软件很神奇?确实,AI很神奇,因为他结合了数据建模、算法和软件编程等多领域技术为一体,可谓程序员易得,AI工程师难求,这也是为什么AI工程师是稀缺人才。那么,Photo Wake-Up是如何工作的呢?
给定一张照片作为输入(最左边),然后创建一个3D动画版本的主题,就可以走向观众(中间)。可以在增强现实中体验3D结果(右)。在上面的结果中,用户几乎用HoloLens耳机悬挂了艺术品,并且可以从不同的视角观看绘画中的角色。