LYRIC: Language-Driven Physics-Based Character Control for Contact-Rich Whole-Body Object Interaction

📄 arXiv: 2609.19688v1 📥 PDF

作者: Zeyu Han, Zichong Meng, Julian Tanke, Minami Matsumoto, Sergey Bashkirov, Yingruo Fan, Selim Engin, Dongseok Shim, Takashi Shibuya, Yuki Mitsufuji, Huaizu Jiang

分类: cs.RO, cs.GR

发布日期: 2026-09-17

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出LYRIC以解决语言驱动的物理基础角色控制问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱五：交互与反应 (Interaction & Reaction) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 物理基础控制 语言驱动 接触丰富交互 生成流匹配 机器人控制 虚拟角色动画 人机交互

📋 核心要点

  1. 现有方法在处理复杂的接触丰富的物体交互时，往往缺乏灵活性和准确性，难以满足自由形式语言指令的要求。
  2. LYRIC通过生成流匹配控制器，结合任务级规划器和动作生成器，提供了一种新颖的方式来实现语言驱动的物理基础交互控制。
  3. 在实验中，LYRIC在OMOMO数据集上取得了显著的性能提升，成功率达到90.3%，相比于基线方法有明显的提高。

📝 摘要（中文）

我们提出LYRIC，一种生成流匹配控制器，旨在实现语言驱动的物理基础接触丰富的交互控制，使模拟角色能够根据自由形式的语言指令和稀疏的目标对象进行全身物体交互。为了从不完美的动作捕捉参考中获得可靠的专家轨迹，训练了一个单一的跟踪策略，使用几何条件的交互奖励和在手-物体接触附近放宽的参考跟踪。通过将控制器分解为任务级规划器和动作生成器，我们能够在不规定全身运动学参考的情况下引导交互进程。经过行为克隆后，我们冻结规划器，并在策略上对动作生成器进行后调优，使用规划器的预测作为中间任务进展的稳定监督。在OMOMO评估中，我们的跟踪器取得了64.3%的成功率，而InterMimic重实现为53.2%。在持出分割上，LYRIC达到了90.3%的任务成功率，优于最强的运动学规划基线74.2%。

🔬 方法详解

问题定义：本论文旨在解决语言驱动的物理基础角色控制中的接触丰富交互问题。现有方法在处理复杂的物体交互时，往往无法有效利用自由形式的语言指令，导致交互效果不佳。

核心思路：LYRIC的核心思路是通过生成流匹配控制器，将控制任务分解为任务级规划和动作生成两个模块，从而在不需要完整运动学参考的情况下，实现灵活的交互控制。

技术框架：LYRIC的整体架构包括一个任务级规划器和一个动作生成器。规划器负责预测短期的物体和人形根轨迹，而动作生成器则在闭环中解决全身运动和接触问题。

关键创新：LYRIC的主要创新在于将控制器分解为两个模块，使得在复杂交互中能够更好地处理接触和运动，同时通过几何条件的交互奖励来训练跟踪策略，提升了轨迹的可靠性。

关键设计：在设计中，使用了几何条件的交互奖励和放宽的参考跟踪策略，以提高在手-物体接触时的跟踪精度。此外，行为克隆后冻结规划器，并对动作生成器进行后调优，以确保中间任务进展的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在OMOMO评估中，LYRIC的跟踪器成功率达到64.3%，显著高于InterMimic的53.2%。在完整OMOMO数据集上，统一策略的成功率达到了76.5%。在持出分割上，LYRIC的任务成功率为90.3%，相比最强的运动学规划基线74.2%有显著提升，且在语义对齐和运动质量方面表现更佳。

🎯 应用场景

LYRIC的研究成果在机器人控制、虚拟角色动画以及人机交互等领域具有广泛的应用潜力。通过实现自然的接触丰富交互，LYRIC能够提升虚拟环境中的角色表现，使其在游戏、电影制作及训练模拟等场景中更具真实感和互动性。未来，LYRIC的技术也可能被应用于自动化和智能机器人领域，推动人机协作的发展。

📄 摘要（原文）

We present LYRIC, a generative flow-matching controller for language-driven physics-based contact-rich interaction control, that enables simulated characters to perform contact-rich whole-body object interactions from a free-form language instruction and a sparse terminal object goal. To obtain reliable expert trajectories from imperfect motion-capture references, a single tracking policy is trained using geometry-conditioned interaction rewards and relaxed reference tracking near hand-object contact. To guide interaction progress without prescribing a full-body kinematic reference, we factorize the controller into a task-level planner that predicts short-horizon object and humanoid-root trajectories, and an action generator that resolves whole-body motion and contacts in closed loop. After behavior cloning, we freeze the planner and post-tune the action generator on policy using the planner's predictions as stable supervision for intermediate task progression. In a controlled OMOMO evaluation, our tracker achieves 64.3% success compared with 53.2% for an InterMimic reimplementation, while a unified policy achieves 76.5% on the full OMOMO dataset. On the held-out split, LYRIC achieves 90.3% task success, compared with 74.2% for the strongest matched kinematic-planner baseline, with better semantic alignment and motion quality. Without retraining, the controller also supports test-time object-waypoint guidance. Qualitative results further demonstrate robust, natural contact-rich interactions and zero-shot transfer to novel object shapes. The webpage is available at https://neu-vi.github.io/LYRIC/