World2HOSI: A Multi-Expert Harness for Long-Horizon Human-Object-Scene Interaction Generation

📄 arXiv: 2610.27725v1 📥 PDF

作者: Jiushu Li, Haoran Wang, Yumeng Liu, Zhiyang Dou, Yuan Liu, Yuexin Ma, Cheng Lin

分类: cs.CV, cs.AI

发布日期: 2026-10-20

备注: Project Page: https://nintreesssss.github.io/World2HOSI

💡 一句话要点

提出World2HOSI以解决长时间人-物-场景交互生成问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱五：交互与反应 (Interaction & Reaction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人-物-场景交互 多专家协同 3D高斯点云 自然语言指令 物理仿真 数据生成 具身人工智能

📋 核心要点

  1. 现有的HOI和HSI模型在各自领域表现良好，但无法处理需要多种交互技能的复杂任务。
  2. World2HOSI通过多专家协同生成HOSI数据，利用3D场景和自然语言指令，强调协同作用而非单一模型的强化。
  3. 实验结果表明，World2HOSI在任务完成率和交互质量上优于现有方法，并生成了更丰富的数据。

📝 摘要（中文）

长时间的人-物-场景交互（HOSI）是具身人工智能、动画和游戏开发的核心。现有的人-物交互（HOI）和人-场景交互（HSI）模型在各自领域表现优异，但无法单独应对需要多种交互技能的任务。为此，本文提出了World2HOSI，一个多专家协同的框架，通过3D高斯点云场景和自然语言指令生成连续的HOSI数据。我们的关键见解是，长时间HOSI的实现依赖于协同而非单一模型的强化。World2HOSI通过持久的场景状态和专家的协同作用，成功实现了这一目标。

🔬 方法详解

问题定义：本文旨在解决长时间人-物-场景交互生成中的数据稀缺和模型能力不足的问题。现有方法无法有效整合多种交互技能，导致任务完成率低。

核心思路：World2HOSI的核心思路是通过多专家协同来生成HOSI数据，而不是依赖于单一更强大的模型。通过共享的结构化场景状态，专家可以共同完成复杂任务。

技术框架：该框架围绕持久的场景状态构建，包含背景和物体资产的解耦。它通过规划动作阶段、调用专家接口并记录每个动作的效果，确保每次调用都基于不断演变的世界。

关键创新：World2HOSI的最大创新在于其多专家协同机制，允许不同专家在同一场景状态下共同工作，超越单一模型的局限性。

关键设计：在设计中，采用了有界残差优化和接触驱动的物理仿真，以确保人类运动和物体操控的物理合理性，同时保持交互意图。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，World2HOSI在评估的HOSI任务中实现了最佳的任务完成率和交互质量，相较于基线方法，数据生成的多样性显著提升，具体性能数据未详述。

🎯 应用场景

该研究在具身人工智能、动画制作和游戏开发等领域具有广泛的应用潜力。通过生成高质量的HOSI数据，能够提升虚拟角色的交互能力和真实感，从而改善用户体验和交互设计。

📄 摘要（原文）

Long-horizon human-object-scene interaction (HOSI) is central to embodied AI, animation, and game development. Existing human-object interaction (HOI) and human-scene interaction (HSI) models excel in their respective domains, but none alone covers tasks requiring multiple interaction skills. Training unified HOSI models is hindered by scarce and costly data. We introduce World2HOSI, a multi-expert orchestration harness that generates continuous HOSI data from 3D Gaussian Splatting (3DGS) scenes and natural language instructions. Our key insight is that long-horizon HOSI hinges not on a stronger single model but on orchestration. Given a shared, structured scene state and an orchestration harness grounded in it, existing experts can jointly accomplish tasks beyond the reach of any of them alone. World2HOSI realizes this insight as a closed loop around a persistent scene state built from decoupled background and object assets. A harness plans action stages over this state, invokes experts via their native conditioning interfaces, and writes each action's effects back, so that every invocation is grounded in the evolving world. To reduce physical artifacts, bounded residual optimization and contact-driven physics simulation further ensure the physical plausibility of human motion and object manipulation, respectively, while preserving interaction intent. Experiments and a perceptual user study show that World2HOSI achieves the best task completion and interaction quality on the evaluated HOSI tasks, while generating more diverse data.