视频直通人形控制:ViT-H砍掉重建与重定向,DPO跟踪反馈闭环,亚400毫秒实时遥操作
论文《ViT-H: Generative Video-To-Humanoid Control with Motion Tracking Feedback》(10月23日提交arXiv)提出了一种与主流管线截然不同的范式:生成-跟踪(generation-and-tracking)。扩散模型直接从单目视频生成人形参考动作,跳过人体运动重建与重定向两道中间工序,再用跟踪结果做偏好优化后训练。
工程判断:互联网上的人类视频几乎取之不尽,"看视频学动作"是公认的高性价比路线。但路线能不能跑通,瓶颈从来不在数据量,而在管线的误差传递结构。

三段式管线的结构性缺陷
现有重建-重定向-跟踪(reconstruction-retargeting-tracking)管线的流程是三步:从视频重建人体运动,把人类骨架重定向到机器人骨架,交给跟踪器执行。论文点破了两个系统性限制:其一,各环节分别优化各自的指标,误差在接口处层层传递,系统级可扩展性受限;其二,下游跟踪反馈无法回流,生成参考动作的模块永远不知道自己的输出在真机上可不可执行。
当训练数据从百小时向千小时扩展时,管线中每一段都要重新校准,扩展成本水涨船高。这是典型的"局部最优叠加不等于全局最优"的工程困境。
生成-跟踪:让执行结果反哺生成器
ViT-H把三段压成两段:扩散模型直接从单目视频生成人形参考动作,人体重建与重定向被整体移除;生成的动作交给运动跟踪器执行,跟踪结果以直接偏好优化(DPO)方式对生成器做后训练——执行得好还是差,直接变成生成器的改进信号。
这个闭环的设计哲学清晰:参考动作的价值不在于"像不像视频里的人",而在于"机器人能不能照着做",所以让最了解执行难度的跟踪环节当裁判。扩展性实验显示,ViT-H随模型规模、预训练与后训练数据规模的扩大都表现良好,且运动跟踪反馈带来的可执行性提升在不同跟踪器上均稳定成立——反馈机制的收益不依赖特定执行器。
工程判断:反馈收益跨跟踪器稳定成立这一点很关键,说明DPO学到的是动作本身的可执行性特征,而非对某个特定执行器的过拟合。
G1真机验证与亚400毫秒遥操作
真机验证落在Unitree G1上。大量实验表明,ViT-H在运动质量与可执行性两个维度上均优于最先进的重建-重定向-跟踪管线——动作不仅更像参考视频,而且更容易被真机实际执行。
研究进一步引入自回归变体:逐段生成、连续推进,实现延迟低于400毫秒的实时人形视频遥操作——操作者对着摄像头做动作,机器人几乎同步跟随,视频本身成为实时控制信号。
先看自由度,再谈智能——ViT-H这类"视频直通"路线的本质,是把管线里的手工环节换成可端到端学习的模块,让单目人类视频从"可参考的素材"升级为"可直连的控制源"。对奔着通用全身行为去的人形团队,这条路线值得盯紧下一版数据。
以上信息由AI整理发布