← 返回论文集

SONIC: Supersizing Motion Tracking for Natural Humanoid Whole-Body Control

Zhengyi Luo†, Ye Yuan†, Tingwu Wang†, Chenran Li†, Fernando Castañeda†, Sirui Chen*, Zi-Ang Cao*, Jiefeng Li*, David Minor*, Qingwei Ben*, Jinhyung Park*, David Sami*, Zi Wang*, Xingye Da*, Runyu Ding, Cyrus Hogg, Lina Song, Edy Lim, Eugene Jeong, Tairan He, Haoru Xue, Wenli Xiao, Simon Yuen, Jan Kautz, Yan Chang, Umar Iqbal, Linxi "Jim" Fan, Yuke Zhu

摘要 / AbstractDespite the rise of billion-parameter foundation models trained across thousands of GPUs, similar scaling gains have not been shown for humanoid control. Current neural controllers for humanoids remain modest in size, target a limited set of behaviors, and are trained on a handful of GPUs. We show that scaling model capacity, data, and compute yields a generalist humanoid controller capable of natural, robust whole-body movements. We position motion tracking as a scalable task for humanoid control, leveraging dense supervision from diverse motion-capture data to acquire human motion priors without manual reward engineering. We build a foundation model for motion tracking by scaling along three axes: network size (1.2M to 42M parameters), dataset volume (100M+ frames from 700 hours of motion capture), and compute (21k GPU hours). Beyond demonstrating the benefits of scale, we further show downstream utility through: (1) a real-time kinematic planner bridging motion tracking to tasks such as navigation, enabling natural and interactive control, and (2) a unified token space supporting VR teleoperation and vision-language-action (VLA) models with a single policy. Through this interface, we demonstrate autonomous VLA-driven whole-body loco-manipulation requiring coordinated hand and foot placement. Scaling motion tracking exhibits favorable properties: performance improves steadily with compute and data diversity, and learned policies generalize to unseen motions, establishing motion tracking at scale as a practical foundation for humanoid control.

引言

论文以动作跟踪作为可扩展的基础任务来解决人形机器人控制问题。当前人形控制策略通常规模较小、任务特定，且依赖手动奖励设计，难以泛化到多种行为。动作跟踪利用大规模运动捕捉数据提供逐帧密集监督，无需逐任务奖励工程，从而通过扩展模型容量、数据和计算来学习通用的人类运动先验，实现自然、鲁棒的全身控制，并支持遥操作、导航、视觉语言指令等多种下游应用。

相关工作

先前工作包括运动跟踪方法（如GMT、Any2Track、BeyondMimic），但大多局限于训练数据上的表现，且未展示丰富的下游任务。对抗式模仿学习方法（AMP、ASE、CALM）通过判别器提供统一目标，但随着数据多样性增加易发生模式坍塌（Luo et al., 2023; Tessler et al., 2024）。专用控制器（如OpenHomie）针对单一任务优化，难以泛化。本文通过大规模运动跟踪构建通用策略，并引入通用令牌空间统一异构输入。

方法

如何在没有手动奖励工程的情况下，扩展到多样化的全身行为？ → 将运动跟踪作为可扩展任务，利用100M+帧运动捕捉数据的密集监督，训练通用跟踪策略；同时扩展模型容量（1.2M至42M参数）、数据量（4M至100M帧）和计算资源（最多128 GPU，21k GPU小时），采用PPO优化。

如何支持多种输入模态（机器人运动、人体运动、混合命令）的统一控制？ → 设计通用令牌空间，包含三个专用编码器（$\mathcal{E}_r$、$\mathcal{E}_h$、$\mathcal{E}_m$）将异构运动命令映射到共享潜在空间，通过有限标量量化（FSQ）得到离散令牌，再经控制解码器输出关节目标，辅助运动解码器重构机器人运动以增强表示学习。

如何实现实时交互控制（导航、拳击、蹲起等）？ → 开发运动学运动规划器，以自回归方式基于用户命令和当前状态生成0.8–2.4秒的未来参考运动，规划延迟<5ms（GPU），支持最高10Hz重规划，无需重新训练跟踪策略。

如何使动作跟踪服务于下游基础模型（VLA）以实现自主全身移动操作？ → 将通用运动令牌作为VLA的动作空间，使VLA直接预测令牌以控制全身运动（包括足部），从而完成拾放、踏板开盖等需要手脚协调的任务。

结果

成功率和MPJPE-L（扩展实验） 仅自测：最大模型（42M参数）在测试内容（OOD）上达到99.6%成功率，MPJPE-L为23.8 mm；1.2M模型仅98.0%成功率/27.7 mm。随着数据量、模型大小和计算量的增加，性能稳步提升。

成功率（与跟踪基线对比）：在测试内容/测试重复/PHUMA三个未见数据集上，SONIC的成功率分别为98.7%/99.6%/97.0%，显著优于BeyondMimic（81.6%/85.8%/73.4%）和Any2Track（31.1%/38.4%/58.6%）。

对比方法数值引用
BeyondMimic81.6%/85.8%/73.4%[Liao et al., 2025]
Any2Track31.1%/38.4%/58.6%[Zhang et al., 2025]

MPJPE-L（与基线对比）：SONIC在测试内容上的MPJPE-L为23.2 mm，比BeyondMimic（39.1 mm）降低41%。

对比方法数值引用
BeyondMimic39.1 mm[Liao et al., 2025]

速度跟踪生存率：在0–5 m/s速度跟踪任务中，SONIC的整体生存率为98.5%，而专用控制器OpenHomie仅为43.0%，且OpenHomie在约1.5 m/s后急剧下降。

对比方法数值引用
OpenHomie43.0%[Ben et al., 2025]

真实世界成功率 仅自测：在123个多样化动作序列上，现实世界策略成功率达99.2%（仿真为100%），全身MPJPE-L为25.7 mm（仿真22.3 mm）。足部误差最大（53.7 vs 29.0 mm），上肢误差最小（22.2 vs 21.8 mm）。

VLA任务成功率 仅自测：在五个全身移动操作任务上，使用通用运动令牌动作空间的VLA模型平均成功率达75%（见表1）。其中苹果到盘子90%，胡萝卜拾取75%，刷子拾取95%，脚开垃圾桶70%，罐子回收60%，钻头搬运70%。

实现

SONIC框架由三部分组成：一个通用运动跟踪策略，处理多种运动命令；一个运动学运动规划器，用于实时交互控制；一个通用令牌空间，统一不同输入模态。策略采用编码器-量化器-解码器结构，将机器人、人体和混合运动编码为离散令牌，再由控制解码器结合本体感知状态生成关节位置指令。训练采用PPO，配合运动重构损失和令牌对齐损失。大规模运动捕捉数据（100M+帧）和域随机化确保泛化性和鲁棒性。

Figure 7（第 14 页）：SONIC enables universal humanoid motion tracking through a universal control policy that handles diverse motion commands and modalities. Specialized encoders process robot, human, and hybrid motion commands into a universal token that drives robot control and motion decoders. This multi-encoder design supports diverse applications including gamepad control, VR teleoperation, whole-body teleoperation, and video teleoperation.

专用编码器（$\mathcal{E}_r$, $\mathcal{E}_h$, $\mathcal{E}_m$） — 将机器人运动、人体运动和混合运动命令编码到共享潜在空间。
设计：三个MLP：$\mathcal{E}_r$输入未来$F_r$帧的机器人关节位置/速度；$\mathcal{E}_h$输入未来$F_h$帧的3D人体关节点；$\mathcal{E}_m$输入当前帧上身关键点（头、手）和未来$F_m$帧的下身机器人运动。所有编码器输出维度一致。
原理：多帧输入提供预测信息；共享空间便于模态对齐和迁移学习。

FSQ量化器 — 将连续潜在表示量化为离散通用令牌。
设计：采用有限标量量化（FSQ），使用2个令牌，每个$D_z$维，每维$L_z$级。避免VQ-VAE的码本坍塌，无需辅助损失。
原理：$$\text{Straight-through梯度估计，兼容PPO联合训练}$$

机器人控制解码器$\mathcal{D}_c$ — 根据通用令牌和本体感知状态输出目标关节位置。
设计：MLP，输入为令牌$z$和状态$s_t^p$的拼接，输出动作$a_t$。
原理：通过PPO损失$\mathcal{L}_{ppo}$优化；结合令牌对齐损失$\mathcal{L}_{token}$和重构损失$\mathcal{L}_{recon}$。

机器人运动解码器$\mathcal{D}_r$ — 从通用令牌重建机器人运动命令，提供辅助监督。
设计：MLP，仅输入令牌$z$，输出预测的机器人运动$\hat{g}_r$。
原理：最小化$\mathcal{L}_{recon} = \|\hat{g}_r - g_r\|^2$，促进机器人运动表示学习，并作为隐式重定向模块。

运动学运动规划器 — 实时生成短期参考运动以响应用户命令，实现交互控制。
设计：自回归神经网络，根据当前状态和用户输入（速度、方向、风格等）预测0.8–2.4秒的运动段，推理时间<5ms（GPU）。
原理：与跟踪策略共享同一数据集；通过临界阻尼弹簧模型过滤不现实命令，确保平滑执行。