InteractAgent: Agentic Human Motion Interaction with Memory-Augmented Reflection

📄 arXiv: 2610.25649v1 📥 PDF

作者: Tao Zhang, Senhe Zhang, Zeyu Zhang, Yujia Zhang, Dong Gong

分类: cs.RO, cs.CV

发布日期: 2026-10-19

🔗 代码/项目: GITHUB

💡 一句话要点

提出InteractAgent以解决长时间人机交互中的空间推理问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion) 支柱五：交互与反应 (Interaction & Reaction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时间人机交互 空间推理 闭环机制 多模态大语言模型 增强记忆反思

📋 核心要点

  1. 现有的人机交互方法在长时间任务中面临空间推理不足和执行错误累积的问题，导致效果不佳。
  2. InteractAgent通过闭环机制整合规划、执行、观察和反思，提升了人机交互的效率和准确性。
  3. 在UniHSI数据集上，InteractAgent显著提高了任务成功率，并减少了执行中的错误，表现优于无训练基线。

📝 摘要（中文）

长时间的人机场景交互需要协调的空间推理、物理可行性以及从累积执行错误中恢复的能力。现有的文本驱动运动模型大多场景无关且缺乏闭环修正，而几何条件的方法依赖于配对的场景-运动训练或显式的3D预处理，限制了对新布局和开放词汇目标的泛化。本文提出了InteractAgent，一个用于长时间人机场景交互的多模态大语言模型系统，能够在闭环中进行规划、执行、观察和反思，使用单一的多模态大语言模型作为规划者和评估者，冻结的运动大语言模型作为执行者。InteractAgent集成了在线观察以进行逐步恢复决策（继续/重做/重新规划）和增强记忆反思以进行多轮计划优化及自适应停止。在UniHSI上，InteractAgent相比于无训练基线提高了任务成功率并减少了穿透现象。

🔬 方法详解

问题定义：本文旨在解决长时间人机场景交互中的空间推理和执行错误累积问题。现有方法缺乏闭环修正能力，导致在新场景和开放目标下的泛化能力不足。

核心思路：InteractAgent的核心思路是通过一个多模态大语言模型（MLLM）作为规划和评估者，结合一个冻结的运动大语言模型（MotionLLM）作为执行者，实现闭环的交互过程。这样设计能够有效整合观察和反思，提升决策的灵活性和准确性。

技术框架：InteractAgent的整体架构包括四个主要模块：规划模块、执行模块、观察模块和反思模块。规划模块负责生成初步计划，执行模块执行动作，观察模块实时监控执行情况，反思模块则根据观察结果调整计划。

关键创新：InteractAgent的主要创新在于其闭环交互机制和增强记忆反思能力，使得系统能够在执行过程中进行动态调整和优化，显著提升了任务成功率。

关键设计：在设计中，InteractAgent采用了在线观察技术以支持逐步恢复决策，并通过增强记忆反思实现多轮计划优化，关键参数和损失函数的设置经过精心调整，以确保系统的稳定性和灵活性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在UniHSI数据集上的实验结果显示，InteractAgent相比于无训练基线，任务成功率显著提高，穿透现象减少，具体性能数据未提供，但提升幅度明显，验证了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、智能家居系统和人机协作等场景。通过提升人机交互的智能化水平，InteractAgent能够在复杂环境中实现更高效的任务执行，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Long-horizon human-scene interaction requires coordinated spatial reasoning, physical feasibility, and the ability to recover from compounding execution errors. Text-driven motion models are largely scene-agnostic and lack closed-loop correction, while geometry-conditioned approaches depend on paired scene-motion training or explicit 3D preprocessing that limits generalization to novel layouts and open-vocabulary goals. We present InteractAgent, an agentic multimodal LLM system for long-horizon human-scene interaction that plans, executes, observes, and reflects in a closed loop, using a single MLLM as both planner and evaluator and a frozen MotionLLM as the executor. InteractAgent integrates Online Observation for step-wise recovery decisions (continue/redo/replan) and Memory-Augmented Reflection for multi-round plan refinement with adaptive stopping. On UniHSI, InteractAgent improves task success and reduces penetration compared with training-free baselines. Code: https://github.com/AIGeeksGroup/InteractAgent.