TARSphere: A Robot-Oriented Full-Stack Framework for Long-Horizon Embodied Agents in Evolving Physical and Social Environments

📄 arXiv: 2610.30043v1 📥 PDF

作者: Yicheng Xu, Zhikai Xu, Ziyuan Chen, Yuhang Dong, Tao Zhang, Zhucun Xue, Yong Liu, Jiangning Zhang

分类: cs.RO

发布日期: 2026-10-21

备注: 13 pages, 8 figures, 7 tables. Project page: https://xuyicheng-zju.github.io/TARSphere/ Code: https://github.com/xuyicheng-zju/TARSphere

💡 一句话要点

提出TARSphere框架以解决机器人在动态环境中的适应性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人技术 长时间任务执行 多模态大语言模型 物理模拟 动态环境适应

📋 核心要点

  1. 现有的具身代理系统往往无法有效应对动态环境中的变化，限制了其在复杂场景中的应用。
  2. TARSphere框架通过整合物理模拟和多模态大语言模型，提供了一个全面的解决方案，支持长时间的任务执行。
  3. 实验结果表明，通用模型在某些任务上超越了具身模型，但在任务更新和人机交互方面仍面临挑战。

📝 摘要（中文）

机器人在物理和社会约束下必须适应环境和人类需求的变化。现有的具身代理系统往往专注于特定目标或将执行抽象为符号动作，限制了在不断变化的世界中的评估。本文提出TARSphere，一个面向机器人全栈框架，支持在物理和社会环境中进行长时间的具身代理。TARSphere-Infra在物理模拟器中运行机器人策略，结合具身非玩家角色和受限对话。事件驱动的有限状态机（FSM）利用完成的动作和传递的信息来更新任务状态并评估结果。TARSphere-Harness则通过多层可执行技能让冻结的多模态大语言模型（MLLM）进行决策修正。基于此，代理环中的策划对齐任务语义、因果依赖和场景几何，构建了TARSphere-Bench，包含360个场景。评估结果显示，通用模型在某些任务上表现优于具身模型，但任务更新和人机交互仍然具有挑战性。

🔬 方法详解

问题定义：本文旨在解决机器人在动态物理和社会环境中执行任务时的适应性问题。现有方法通常专注于特定目标，无法有效应对环境变化和人类需求的动态性。

核心思路：TARSphere框架通过结合物理模拟和多模态大语言模型，提供了一个全面的解决方案，使机器人能够在复杂环境中进行长时间的任务执行，并实时适应变化。

技术框架：TARSphere框架由多个模块组成，包括TARSphere-Infra（物理模拟器）、事件驱动的有限状态机（FSM）和TARSphere-Harness（多模态大语言模型的执行脑）。这些模块协同工作，支持任务状态更新和决策修正。

关键创新：TARSphere的创新在于其整合了物理模拟与多模态大语言模型，形成了一个全栈的解决方案，能够在复杂的物理和社会环境中进行长时间的任务执行，这与现有方法的局限性形成鲜明对比。

关键设计：在设计中，TARSphere采用了事件驱动的有限状态机来管理任务状态，并通过多层可执行技能来实现决策修正。此外，框架中还包含了层次化记忆和执行反馈机制，以提高决策的准确性和适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，评估的8个多模态大语言模型在某些任务上表现优于具身模型，尤其是在感知鲁棒性和适应性方面。然而，任务更新和人机交互仍然是挑战，频繁的碰撞和跌倒也强调了执行安全性的重要性。

🎯 应用场景

TARSphere框架具有广泛的应用潜力，尤其在服务机器人、社交机器人和自主导航系统等领域。其能够在动态环境中有效适应变化的能力，将极大提升机器人在实际应用中的灵活性和智能化水平，推动智能机器人技术的进步。

📄 摘要（原文）

Robots must act under physical and social constraints while adapting to changes in their environment and human needs. Existing embodied-agent systems often focus on specified goals or abstract execution into symbolic actions, limiting evaluation in an evolving world. We introduce TARSphere, a robot-oriented full-stack framework for physically and socially grounded long-horizon embodied agents. TARSphere-Infra runs robot policies in a physics simulator with embodied NPCs and constrained dialogue. An event-driven finite-state machine (FSM) uses completed actions and delivered information to update task states and evaluate outcomes. TARSphere-Harness, its embodied brain harness, lets a frozen multimodal large language model (MLLM) act through multi-level executable skills, using observations, hierarchical memory, and execution feedback to revise its decisions. On this foundation, agent-in-the-loop curation aligns task semantics, causal dependencies, and scene geometry to construct TARSphere-Bench: 360 episodes across 30 indoor scenes. Five paired conditions assess perceptual robustness, disruption adaptation, task update, human coordination, and intent understanding for navigate-and-report and fetch-and-deliver tasks. Our evaluation of 8 MLLMs shows that general-purpose models can outperform embodied models, while task updates and human interaction remain difficult. Frequent collisions and falls further motivate evaluating execution safety alongside task success, even with a shared action interface and decision budget.