I-BFM: Reward-Conditioned Robust Humanoid Interaction via Unsupervised Reinforcement Learning
作者: Ziqi Han, Yitang Li, Junhan Sun, Fanrong Dong, Yaojie Shen, Lei Ye, Zetong Jing, Yongqi Zhang, Yiming Zhang, Xue Wang, Hao Zhao
分类: cs.RO
发布日期: 2026-10-05
备注: 9 pages, including appendix
💡 一句话要点
提出I-BFM以解决人形机器人与物体交互的挑战
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人形机器人 无监督强化学习 行为基础模型 物体交互 动态控制 任务链 鲁棒性 多样化任务
📋 核心要点
- 现有方法在物理交互中难以扩展通用性，缺乏有效的任务特定策略优化。
- I-BFM通过无监督强化学习学习共享动态表示，支持多种交互任务而无需特定策略。
- 实验结果显示，I-BFM在执行偏差后仍能保持高成功率，且在真实环境中表现出色。
📝 摘要（中文）
行为基础模型（BFMs）最近显示出单一的人形策略可以支持多样的全身控制，但将这种通用性扩展到物理交互仍然具有挑战性。我们介绍了I-BFM，这是首个用于人形-物体交互的BFM。I-BFM通过前向-后向表示和无监督强化学习，学习人形、物体及其接触之间的耦合动态的共享表示。给定下游任务奖励，同一策略可以直接基于潜在命令进行闭环交互，而无需任务特定的策略优化。通过短期和长期目标的训练，I-BFM在携带、推动和踢等任务中表现出色，并支持目标达成、运动跟踪、风格控制和长时间任务链。重要的是，I-BFM在执行偏差较大的情况下仍然有效，实验证明其在多样的运动操控行为和快速恢复能力方面的优势。
🔬 方法详解
问题定义：本论文旨在解决人形机器人在与物体交互时的通用性和鲁棒性问题。现有方法通常依赖于任务特定的策略，难以适应多样的交互场景和执行偏差。
核心思路：I-BFM通过无监督强化学习，学习人形机器人与物体之间的耦合动态，形成共享的表示，从而实现多种交互任务的控制，而无需针对每个任务进行单独优化。
技术框架：I-BFM的整体架构包括前向-后向表示学习模块和策略训练模块。前者用于捕捉人形与物体的动态关系，后者则通过奖励信号优化策略，以实现闭环交互。
关键创新：I-BFM的主要创新在于其无监督学习机制和共享表示的设计，使得同一策略能够适应多种任务，显著提高了交互的灵活性和鲁棒性。这与传统方法的任务特定策略形成鲜明对比。
关键设计：在训练过程中，I-BFM采用了短期和长期目标的结合，优化了策略的时间控制能力。此外，损失函数的设计考虑了多种交互目标，确保策略在不同场景下的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，I-BFM在携带任务中实现了94.3%的名义成功率，并在机器人跌倒后仍保持89.3%的成功率，相较于基于规划的基线仅为1.3%。在Unitree G1上的真实世界实验进一步验证了其多样的运动操控行为和快速恢复能力。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等场景。I-BFM的鲁棒性和灵活性使其能够在复杂环境中执行多样化的任务，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Behavioral foundation models (BFMs) have recently shown that a single humanoid policy can support diverse whole-body control, but extending such generality to physical interaction remains challenging. We introduce I-BFM, to our knowledge the first BFM for humanoid-object interaction. Rather than relying on task-specific policies or reference tracking, I-BFM learns a shared representation of the coupled dynamics among the humanoid, objects, and their contacts using forward-backward representations and unsupervised reinforcement learning. Given a downstream task reward, the same policy can be directly conditioned on a latent command to execute closed-loop interaction without task-specific policy optimization. To improve interaction control over different time scales, we further train the policy with both short-horizon interaction targets and longer-horizon goal targets. A single I-BFM policy performs carrying, pushing, and kicking, while also supporting goal reaching, motion tracking, stylistic control, and long-horizon task chaining. More importantly, it remains effective after large deviations from nominal execution: on Carry, I-BFM achieves 94.3% nominal success and retains 89.3% success after robot falls, compared with 1.3% for a planning-based baseline. Real-world experiments on a Unitree G1 further demonstrate diverse loco-manipulation behaviors, rapid recovery from interaction failures and external disturbances, and task chaining without task-specific retraining.