苹果最新AI黑科技：半小时内打造数字分身的’HUGS’技术亮相

HUGS，全称Human Gaussian Splats。据介绍，HUGS能够在约30分钟内从一个简短视频中生成数字人类分身。

苹果研究员兼HUGS论文作者之一的Anurag Ranjan在X平台上发布了有关该技术应用的最新视频。

在其发布的视频中可以看到，画面右方的三个数字分身正在草坪上跳舞。

视频 1： 我们展示了训练视频（左上）、重建后的典型人类头像（右上）、重建后的场景模型（左下）以及动画中的人类头像和场景（右下）。所有模型都是通过使用 NeuMan 数据集的建议方法进行训练的。

苹果表示，当前的神经渲染技术相比早期有了显著的进步，但该技术仍然最适合应用在静态场景中，而不是动态场景中自由移动的人类。

而HUGS则建立在3DGS（3D Gaussian Splatting）和SMPL身体模型技术的基础上，来创建人类数字分身。Ranjan介绍道，HUGS仅仅需要约50-100帧的原始视频，这相当于2到4秒24fps的视频。

但是，目前该技术无法捕捉每个细节。对于未能捕捉并建模的细节元素，HUGS会自动填充。

目前HUGS经过训练，可以在约30分钟内生成数字人类分身。据称，这比NeuMan、Vid2Avatar在内的其他方式要快约100倍。

视频 2：我们的方法可以在一个新奇的场景中合成多个人类头像。它只需要人类和场景的单个视频。渲染以 60 FPS 的速度实时进行。

事实上，苹果公司一直致力于有关数字分身的研究。例如在其最新MR头显Vision Pro里，该设备能够通过前置摄像头扫描用户面部信息，并基于机器学习技术和编码神经网络，为用户生成一个数字分身。当用户使用FaceTime通话时，数字分身便可以模仿用户的面部及手部动作。

自以ChatGPT为代表的生成式AI大模型爆火后，苹果公司在AI技术上开发进度和商业布局一度被市场所诟病。对此，Apple Insider的报道指出，苹果并没有在生成式AI方面停滞不前，让人类数字分身跳舞就是证明。

Apple苹果机器学习研究所官网原文：

神经渲染技术的最新进展使训练和渲染时间都有了数量级的提高。虽然这些方法在质量和速度上都达到了最先进的水平，但它们都是针对静态场景的摄影测量而设计的，并不能很好地应用于环境中自由移动的人类。在这项工作中，我们引入了人类高斯拼接（HUGS），利用三维高斯拼接（3DGS）将可动画的人类与场景结合在一起。我们的方法只需拍摄少量（50-100 帧）单目视频，就能在 30 分钟内自动学习如何将静态场景与完全动画化的人类头像分离开来。我们利用 SMPL 人体模型来初始化人体高斯。为了捕捉 SMPL 未建模的细节（如布料、毛发），我们允许 3D 高斯偏离人体模型。在动画人体中使用三维高斯带来了新的挑战，包括在衔接高斯时产生的假象。我们建议共同优化线性混合蒙皮权重，以协调动画中各个高斯的运动。我们的方法实现了人类的新姿势合成以及人类和场景的新视角合成。我们实现了最先进的渲染质量，渲染速度达到 60 FPS，同时训练速度比以前的工作快 100 倍。

Apple苹果的论文原文：HUGS: Human Gaussian Splats

链接：https://arxiv.org/abs/2311.17910