3.5 分钟,Meta 新算法一部手机搞定 3D 人脸数据采集,可用于 VR

搞定这样的人脸 3D 建模需要几步?

在数据采集的阶段,答案是:一部手机 + 3.5 分钟

没错,仅凭这 3.5 分钟的数据,就足以生成高保真、可驱动的真实 3D 人脸头像。

这项研究来自 Meta Reality Labs—— 就是扎克伯格元宇宙计划里的那个核心部门。论文已经被 SIGGRAPH 2022 接收。

作者提到,这一方法适用于 VR 应用

也就是说,在 VR 的世界里,以后你可能就不必顶着一张卡通脸登场了。

在这项研究中,采集人脸只需要用到一部带有深度摄像头的智能手机。

实验中,研究人员采用的是 iPhone 12。

采集过程就像这样:

采集到的数据要进行如下处理:

  • 获取每一帧人脸图像中的几何形状和纹理;

  • 对输入的 RGB 图像进行人脸标志检测和人像分割;

  • 对模板网格进行拟合和变形,以匹配检测到的人脸标志物、分割轮廓和深度图;

  • 对每一帧图像的纹理进行解包,而后汇总得到完整的人脸纹理。