Recurrent Reasoning with Vision-Language Models for Estimating Long-Horizon Embodied Task Progress

📄 arXiv: 2603.17312v1 📥 PDF

作者: Yuelin Zhang, Sijie Cheng, Chen Li, Zongzhao Li, Yuxin Huang, Yang Liu, Wenbing Huang

分类: cs.CV, cs.AI

发布日期: 2026-03-18

备注: CVPR 2026

🔗 代码/项目: HUGGINGFACE

💡 一句话要点

提出R²VLM，利用循环推理和视觉-语言模型解决长时程具身任务进度估计问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时程任务 任务进度估计 视觉-语言模型 循环推理 思维链 具身智能 ALFRED Ego4D

📋 核心要点

  1. 现有基于视觉-语言模型的方法在长时程具身任务进度估计中，忽略了模型的推理能力，且计算成本高昂。
  2. R²VLM通过循环推理框架和思维链（CoT）维护全局上下文，迭代处理局部视频片段，从而实现高效的进度估计。
  3. 实验表明，R²VLM在进度估计和下游任务中表现出色，并在长时程任务进度估计方面取得了新的state-of-the-art。

📝 摘要（中文）

本文提出了一种循环推理视觉-语言模型（R²VLM），用于估计长时程、多步骤具身任务的进度。现有方法主要依赖视觉-语言模型的视频理解能力，忽略了其复杂的推理潜力，并且处理长视频轨迹的计算成本过高。R²VLM通过循环推理框架迭代处理局部视频片段，并通过不断演进的思维链（CoT）维护全局上下文。CoT显式地记录任务分解、关键步骤及其完成状态，使模型能够推理复杂的时序依赖关系。该设计避免了处理长视频的高成本，同时保留了必要的推理能力。R²VLM在从ALFRED和Ego4D自动生成的大规模数据集上进行训练。在进度估计和下游应用（包括进度增强策略学习、强化学习的奖励建模和主动辅助）的广泛实验表明，R²VLM实现了强大的性能和泛化能力，在长时程任务进度估计方面达到了新的state-of-the-art。

🔬 方法详解

问题定义：论文旨在解决长时程具身任务中准确估计任务进度的问题。现有基于视觉-语言模型的方法主要依赖视频理解能力，忽略了模型的推理潜力，并且直接处理长视频轨迹的计算成本很高，难以实际部署。因此，需要一种能够有效利用视觉-语言模型的推理能力，同时降低计算复杂度的进度估计方法。

核心思路：论文的核心思路是利用循环推理框架，迭代地处理局部视频片段，并通过维护一个不断演进的思维链（Chain of Thought, CoT）来记录任务分解、关键步骤及其完成状态，从而实现对长时程任务进度的准确估计。这种设计避免了直接处理长视频带来的高计算成本，同时保留了视觉-语言模型的推理能力。

技术框架：R²VLM的整体架构包含以下几个主要模块：1) 视频片段编码器：将输入的局部视频片段编码成视觉特征；2) 思维链（CoT）：维护一个全局上下文，记录任务分解、关键步骤及其完成状态；3) 循环推理模块：迭代地处理视频片段，并更新CoT；4) 进度估计模块：基于CoT输出任务进度估计。整个流程是，首先将长视频分割成多个局部片段，然后循环推理模块依次处理这些片段，每次处理都会更新CoT，最后基于CoT的信息进行进度估计。

关键创新：最重要的技术创新点在于循环推理框架和思维链（CoT）的结合。循环推理框架允许模型以较低的计算成本处理长视频，而CoT则显式地记录了任务分解和完成状态，使得模型能够进行更有效的推理。与现有方法相比，R²VLM能够更好地利用视觉-语言模型的推理能力，从而提高进度估计的准确性。

关键设计：论文中一些关键的设计细节包括：1) CoT的表示方式：CoT可能采用文本或向量的形式来表示任务分解和完成状态；2) 循环推理模块的具体实现：可以使用循环神经网络（RNN）或Transformer等模型来实现循环推理；3) 损失函数的设计：可以使用交叉熵损失或均方误差损失来训练模型，目标是最小化预测进度与真实进度之间的差距。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

R²VLM在ALFRED和Ego4D数据集上进行了广泛的实验，结果表明其在长时程任务进度估计方面达到了新的state-of-the-art。此外，R²VLM在下游任务中也表现出色，例如进度增强策略学习、强化学习的奖励建模和主动辅助。这些实验结果验证了R²VLM的有效性和泛化能力。

🎯 应用场景

该研究成果可应用于机器人导航、智能家居、自动驾驶等领域。准确的任务进度估计能够帮助智能体更好地规划和执行任务，提高效率和可靠性。此外，该方法还可以用于奖励函数设计，从而改进强化学习算法的性能，并实现更智能的人机交互。

📄 摘要（原文）

Accurately estimating task progress is critical for embodied agents to plan and execute long-horizon, multi-step tasks. Despite promising advances, existing Vision-Language Models (VLMs) based methods primarily leverage their video understanding capabilities, while neglecting their complex reasoning potential. Furthermore, processing long video trajectories with VLMs is computationally prohibitive for real-world deployment. To address these challenges, we propose the Recurrent Reasoning Vision-Language Model ($\text{R}^2$VLM). Our model features a recurrent reasoning framework that processes local video snippets iteratively, maintaining a global context through an evolving Chain of Thought (CoT). This CoT explicitly records task decomposition, key steps, and their completion status, enabling the model to reason about complex temporal dependencies. This design avoids the high cost of processing long videos while preserving essential reasoning capabilities. We train $\text{R}^2$VLM on large-scale, automatically generated datasets from ALFRED and Ego4D. Extensive experiments on progress estimation and downstream applications, including progress-enhanced policy learning, reward modeling for reinforcement learning, and proactive assistance, demonstrate that $\text{R}^2$VLM achieves strong performance and generalization, achieving a new state-of-the-art in long-horizon task progress estimation. The models and benchmarks are publicly available at \href{https://huggingface.co/collections/zhangyuelin/r2vlm}{huggingface}.