2022-08-06 11:32:18 来源:IT之家 阅读量:13026
最近三星实验室有个新的AI换脸工具叫MegaPortraits,在国外爆了简单来说,这个AI工具可以捕捉到真人的面部动作,让静态人像模仿真人的表情和动作,让其动起来
该技术的工作方式是将源图像与行驶图像的运动混合,然后将行驶图像的运动嵌入到源图像中在每一帧中产生运动的AI模型是从源图像和驾驶图像中的两个随机帧中训练出来的,其中驾驶图像指的是上述两组gif中最左边的真人
因此,即使当驱动图像的外观与源图像的外观大不相同时,具有中等分辨率的视频数据和具有高分辨率的图像数据也可以用于实现渲染图像的质量水平和运动的所需变化。
MegaPortraits的研究人员解释说:我们的训练设置是相对标准的我们在每一步从数据集中抽取两个帧:源帧和驱动帧我们的模型将驱动帧的运动强加到源帧的外观上,以产生输出图像
他们还说:主要的学习信号是从源帧和驱动帧来自同一视频的训练集中获得的,因此我们的模型预测被训练为匹配驱动帧。
本站了解到,MegaPortraits的研究人员表示,Mega Portraits的换脸工具目前在肩部和服装区域表现不佳,他们将在未来重点改善这一问题。