动捕技术如何赋予“虚拟角色”灵魂？你可能还不了解的动捕幕后

wuhu专题

文 | Swagblueee

如果你还有印象

应该会记得《黑神话之悟空》的宣传片里

有这么一段

幕后是由动捕演员kyle演绎的

除了演绎主角之外

还有很多高难度的动作戏

比如翻跟头的大马猴

运动捕捉的出现

为虚拟角色的制作带来了更多可能

让应用领域的边界越来越广

那么

影视动画中常见的动作捕捉有哪些方式？

过去存在哪些技术壁垒？

如今又有了哪些新的突破？

…

今天就让我们通通一起了解

Part 1

什么是动作捕捉？

动作捕捉（Motion Capture，也称为MoCap），是通过捕捉记录演员的动作和身体表演，将其数据转化为CGI角色运动动画的一种技术驱动型方法。MoCap可以跟踪各种类型的运动，例如身体动作和面部表情。动作捕捉技术现如今已经普遍运用在电影、动画以及游戏的制作中。

非常多经典电影人物都是通过动作捕捉技术塑造的：

《蜘蛛侠》

阿丽塔——《阿丽塔：战斗天使》

灭霸——《复仇者联盟4：终局之战》

《使命召唤：现代战争2019》

巴鲁——《奇幻森林》

浩克——绿巨人

琼斯——《加勒比海盗》

史矛革——《霍比特人：史矛革之战》

凯撒——《猩球崛起》

妮特丽——《阿凡达》

Part 2

动作捕捉有哪些方式？

影视动画中常见的动作捕捉有哪些方式？

如今，市面上有两种常见的运动捕捉方式。

第一种是光学式运动捕捉，是通过对目标上特定光点的监视和跟踪来完成运动捕捉的任务。常见的光学式运动捕捉大多基于计算机视觉原理。

一套典型的光学动作捕捉服

第二种是惯性式运动捕捉，是将感应芯片封装后绑定在身体的重要关节点，通过芯片捕捉到关节点的多种变换，进而通过算法分析转化为人体的动作数据。

一套典型的惯性式运动捕捉服

那么如何根据实际情况来选择更加适合的动作捕捉系统呢？

一般来说，主要从捕捉场景和精度需求来考虑。

根据捕捉场景

光学式动作捕捉设备的捕捉的范围受摄像头数量的限制，易受环境影响。所以，光学式动作捕捉适用于运动范围固定且环境中无噪点的区域。相比光学式动作捕捉系统，惯性式动作捕捉对于大范围的运动更加方便易行，且不受光线、环境等因素的影响，适用于环境复杂且运动区域较大的数据采集。

根据精度需求

现有市面上的光学式动作捕捉的设备已经可以达到毫米级别的精度，而惯性式动作捕捉的精度与光学式目前仍存在差距。通常科学研究中动作捕捉以及电影中的面部表情等的拍摄都是优先选择光学式动作捕捉设备；如果是简单的关节或者动作捕捉，则通过采用惯性捕捉方案。

光学捕捉系统与惯性捕捉系统对比一览表

如何利用视频素材进行动作捕捉呢？

那有没有一种方法可以在没有硬件或运动数据的情况下生成运动捕捉动画呢？

来自NVIDIA、多伦多大学和Vector Institute的研究人员提出了一种新的动作捕捉方式，该方法取代了昂贵的动作捕捉硬件。它仅使用视频输入来改进过去的动作捕捉动画模型。

这项创新技术仅通过视频输入使用AI捕获运动数据，并将其转换为数字化身。然后他们可以给“化身”一个物理模拟，以消除脚滑动时标记点丢失或闪烁的传统挑战。

该技术框架通过优化不变的接触行为（包括计算接触力）强制执行物理约束来改进复杂姿势的预估。然后，在精炼的姿势上训练一个时间序列生成模型，综合未来的运动和接触力。结果表明，基于物理的细化进行姿势预估和视频的运动合成，结果都显著提升了性能。该技术有望能够通过利用大型在线视频资源来实现更具可拓展性的人体运动合成。

AI使用动作捕捉捕捉动作，将人体运动转化为数字模型动画

并提供物理模拟以准确模仿现实生活中的动作

这个框架让人们离在虚拟世界中工作和娱乐更近了一步。它将帮助开发人员以更经济的方式制作人体运动动画，并提供更多样化的运动。

VR领域有什么动作捕捉“黑科技”？

作为全球元宇宙领头人，Meta（Facebook部分品牌更名而来）在VR设备开发领域一直处于最前端。旗下Meta Quest开发的VR设备选择了Inside-Out技术，仅使用一部头显和两个手柄就完成了对用户上半身的实时动作捕捉。

但随着用户需求的变化以及技术对虚拟世界的探索，Inside-Out技术下全身动作捕捉成为难题，并且也一直被网友调侃“Avatar没有腿”。

Meta XR的高管Andrew Boswort表示，Inside-Out头显可能无法实现全身追踪。“头显前置的摄像头受限于角度，无法很好地捕捉用户腿部。同时，我们又想缩小头显尺寸，这就导致全身追踪的问题难度更大。

摄像头的角度甚至很难看到用户的脸颊和上半身。现在可以很好地呈现上半身，因为摄像头能够捕捉手臂、肘部、手部，并且我们也了解背后人体骨骼肌肉的运行原理，但脚（由于不能捕捉也不够了解）就显得很僵硬。所以说，我们看到一些全身追踪的案例，也不得不选择Outside-In而不是Inside-Out，这也是我们正在研究的事情之一。”

Andrew Boswort从摄像头角度和捕捉技术两方面，阐释了他认为无法使用Inside-Out实现全身追踪的原理。随后，他也从用户的角度指出目前实现VR全身追踪的不合理之处（或者说Quest短期内不会加入全身追踪的原因）。

首先，额外的成本。Andrew Boswort谈到：“准确地追踪用户的腿是非常困难的，并且仅从物理的角度来看，使用现有的Inside-Out头显基本上是不可行的。不过，你可以使用Outside-In进行身体追踪——但这需要额外的配件、额外成本还需要花精力配置，这是一笔不小的开销。”其次，糟糕的用户体验。他认为，如果用户看到腿，但它不是很合适，表现很畸形，“这是一种非常糟糕的体验。”

事实上，就目前来看全身追踪对于主流游戏品类的影响非常有限。因为目前大部分游戏中开发者会通过IK反向动力学技术，让头显和双手柄构建一个上半身的身体形象。而下半身则通过动画来处理，亦或是没有下半身。

对于大部分游戏来说，这样的配置是足够构建一个可信的虚拟角色的。因此就目前主要的热门游戏来看，全身动捕技术的使用场景还是很小。

如今业内的VR动作捕捉技术开发思路基本一致，都认为应该在现有的基础上把交互做到相对完美，再去考虑加入更多部分的体验。对游戏来说，在统一交互模式的基础上先能把品类都发展开来，然后才是解决完美的手和视觉体验，所以对于全身动作捕捉难题的探索还是未来的事。

动作捕捉技术一般包括身体动作捕捉和面部动作捕捉，其中身体动作捕捉中的手指动作捕捉又相当棘手。下面就分别从身体、面部、手指的动作捕捉技术探寻一下最新的前沿发展。

Part 3

身体运动捕捉如何克服多人互动中的穿模障碍？

随着技术的推动

IP商业发展等新方向的开拓

虚拟偶像为代表的虚拟人技术

愈发普遍地进入到大众的日常娱乐生活

来源：wuhu动画人空间