COSMI: COmpositional Synthesis of Multi-object Interactions

📄 arXiv: 2610.03252v1 📥 PDF

作者: Daniel Eskandar, Ilya A. Petrov, Gerard Pons-Moll

分类: cs.CV

发布日期: 2026-10-02

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出COSMI以解决多对象交互生成模型的数据限制问题

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 多对象交互 生成模型 数据扩展 文本对齐 接触准确性 机器人技术 虚拟现实

📋 核心要点

  1. 现有的人类与物体交互生成模型受限于单一物体数据集，无法有效捕捉多对象交互的复杂性。
  2. COSMI通过组合单一物体的交互片段，生成多对象交互序列，显著扩展了数据集规模。
  3. 在未见对象和交互组合的基准测试中，COSMI方法在文本对齐和接触准确性上表现优异，超越了现有基线模型。

📝 摘要（中文）

人类与物体交互的生成模型受限于现有数据集的局限性：日常活动涉及多个物体，但大多数数据集仅记录单一物体的交互。COSMI通过组合单一物体的交互片段，生成包含多个物体的交互序列。该数据集包含222,000个序列和275小时的多对象交互数据，几乎是现有最大多对象捕获数据集的30倍。COSMI方法使用文本到交互的扩散变换器，能够在未见对象和交互组合上进行有效泛化，且在文本对齐和接触准确性方面超越基线模型。

🔬 方法详解

问题定义：论文旨在解决现有生成模型在多对象交互数据稀缺情况下的局限性，现有方法通常只能处理单一物体的交互，导致无法捕捉复杂的多对象活动。

核心思路：COSMI通过组合单一物体交互的片段，利用局部交互的特性生成多对象交互序列。该方法通过镜像和语言模型的结合，确保生成的交互在语义和物理上都是合理的。

技术框架：COSMI方法的整体架构包括数据组合模块、文本到交互的扩散变换器和对象槽生成模块。数据组合模块负责生成接触一致的交互片段，而扩散变换器则根据移动的身体部位预测相对的对象数量。

关键创新：COSMI的主要创新在于其数据生成方式，通过组合单一对象的交互片段而非直接记录多对象交互，极大地扩展了数据集的规模和多样性。这种方法在生成模型中引入了更高的灵活性和泛化能力。

关键设计：COSMI采用了权重共享的对象槽设计，能够生成可变数量的对象，并通过几何检查和语言模型确保生成的交互在语义和物理上合理。此外，损失函数设计上注重文本对齐和接触准确性，以提升模型的整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

COSMI在未见对象和交互组合的基准测试中表现优异，尤其在文本对齐和接触准确性方面超越了现有基线模型，显示出显著的性能提升。具体而言，COSMI在这些任务上的表现优于基线模型，尤其是在处理未见对象时，其优势最为明显。

🎯 应用场景

COSMI的研究成果在机器人、虚拟现实和增强现实等领域具有广泛的应用潜力。通过生成多对象交互的能力，COSMI可以帮助提升人机交互的自然性和流畅性，推动智能机器人在复杂环境中的应用。同时，该方法也为未来的多模态学习和生成模型研究提供了新的思路和数据基础。

📄 摘要（原文）

Generative models of human-object interaction are bounded by the data that exists: everyday activities involve several objects, but most captured datasets record one at a time, as multi-object capture is combinatorially expensive. Our observation is that interactions are local, so single-object captures already contain the parts of multi-object activities. We compose them: contact-consistent clips of single interactions, mirrored to balance the hands, transfer between bodies, and a language model and geometric checks admit only the pairings that are plausible, semantically and physically. Therefore, the dataset grows combinatorially with the clips rather than recording time. The COSMI dataset holds 222k sequences and 275 hours with up to five objects, nearly thirty times the largest multi-object capture, and can be extended by adding datasets or even hand-object recordings. On this data we train the COSMI method, a text-to-interaction diffusion transformer that follows how the data is built: weight-shared object slots generate a variable number of objects, predicted relative to the body parts that move them. On a benchmark with an unseen object and unseen interaction combinations, models trained on the dataset generalize to the unseen combinations. COSMI outperforms baselines in text alignment and contact accuracy, where its margin is largest on the unseen object. Code, models, and the dataset pipeline will be released on the project page: https://ptrvilya.github.io/cosmi.