霍格沃茨的同学们都知道,想要进入格兰芬多休息室,得先过胖夫人这一关。
所以,会说话的照片/画像它科学吗?
其实,在AI时代的麻瓜世界里,这早就不算事儿了。
不信,你看看这个激情演唱迪迦奥特曼主题曲《奇迹再现》的杜甫:
△网友:0202年,杜甫越来越忙了
还有这个目光如炬,侃侃而谈的明太祖朱元璋:
以及从大秦帝国穿越而来的这位大哥:
谁见了不得喊一句:鹅妹子嘤。
想必你已经猜到了,这样的「魔法」依然是由AI带来,涉及的技术包括图像生成、运动估计等等。
就仅仅在8月份月,@大谷Spitzer在微博上先后被@人民日报、@央视新闻、@头条新闻等诸多媒体和微博大号“点名”,粗略统计微博上关于他的视频总播放量达数千万。
背后的AI黑科技
那么,AI具体是怎么让这些艺术作品动起来的呢?
大谷介绍,基于YouTube大神DenisShiryaev的教程,他这次用到的AI项目分别是(链接见文末):
Artbreeder
StyleGAN-Art
Realistic-Neural-Talking-Head-Models
DAIN
TopazLabs
Artbreeder是一个基于生成对抗网络(GAN)技术的在线图像生成网站。
在Artbreeder上,用户可以通过调整滑块,来创建不同风格的人像、动画。
并在2019年升级成为了效果更加逼真、无暇的StyleGAN2。
StyleGAN-Art则是经过了特殊调教的StyleGAN,专注于肖像画的生成。效果是酱婶的:
只需要少量图像样本,就能学习到高度逼真和个性化的目标人物面部模型。甚至对于肖像画也一样适用。
First-Order-Model
一张名人照片,加上随便一段视频,就能让照片里的人物分分钟动起来。
比如输入一段川普的视频,原本静止在画面中的史塔克们,也忍不住跟着动了起来。
这就是来自意大利特伦托大学的「First-Order-Model」。
DAIN是上海交通大学开发的插帧算法,能把30fps的视频一口气插帧到480fps,让视频丝滑流畅,毫无卡顿。
△看琦玉老师这丝滑的披风
并且,这项技术不仅适用于真实拍摄的视频,电影、定格动画、动漫都能搞定。
TopazLabs的能力,是基于机器学习技术和trimap技术,增加照片的分辨率,补充像素细节。
提供添加蒙版,AI色彩、细节增强,AI降噪,无损失放大等功能。
不过,这是一系列收费软件。
当然,除了这些AI黑科技,作者的耐心调教也是不可或缺的。
大谷本人也在接受新京报采访时坦承,制作过程中,翻车的例子也不少。
没有点亮AI技能点怎么办?
最后的最后,还有一个问题:
如果没有点亮AI技能点,就不能亲自体验这样的「魔法时刻」了吗?
在去年的AdobeMAX大会上,Adobe露了这么一手:加入音轨,画中人就能一键对口型。
哪怕只是简笔画,也能被赋予自然的动态。
Adobe表示,在不远的将来,这样的功能可能会出现在Adobe全家桶里面,作为新增功能或新产品出现。