Learning Affordances at Inference-Time for Vision-Language-Action Models

📄 arXiv: 2510.19752v1 📥 PDF

作者: Ameesh Shah, William Chen, Adwait Godbole, Federico Mora, Sanjit A. Seshia, Sergey Levine

分类: cs.RO, cs.AI

发布日期: 2025-10-22

备注: 7 pages and appendix

💡 一句话要点

提出LITEN，通过推理时学习机器人操作策略，提升VLA模型在复杂任务中的表现

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人控制 视觉语言动作模型 推理时学习 示能性学习 长时程任务

📋 核心要点

  1. 现有VLA模型缺乏在任务失败时动态调整行为的能力，难以适应复杂环境。
  2. LITEN通过VLM对VLA的执行结果进行评估和反思，并将经验融入后续推理，实现策略自适应。
  3. 实验表明，LITEN能有效学习并利用高示能性指令，提升VLA模型在长时程任务中的表现。

📝 摘要（中文）

本文提出了一种名为Learning from Inference-Time Execution (LITEN)的方法，旨在提升Vision-Language-Action (VLA)模型在复杂真实世界控制任务中的性能。LITEN将一个VLA低级策略与一个高级VLM连接起来，该VLM通过将过去的经验纳入上下文来调节行为，从而使其能够学习低级VLA的示能性和能力。该方法在推理阶段迭代进行，包括一个推理阶段，生成并执行低级VLA的计划；以及一个评估阶段，反思执行结果并得出有用的结论，将其纳入未来的推理上下文。与非机器人领域中类似的自完善方法不同，LITEN必须反思非结构化的真实世界机器人轨迹（例如，原始视频），这需要在评估期间提供结构化的指导。实验结果表明，LITEN能够有效地从过去的经验中学习，生成使用高示能性指令的计划，从而完成长时程任务。

🔬 方法详解

问题定义：现有Vision-Language-Action (VLA)模型在解决复杂机器人控制任务时，常常需要多次尝试才能成功。当首次尝试失败时，模型缺乏反思失败原因并相应调整策略的能力，导致难以避免重复犯错。因此，如何使VLA模型能够从过去的经验中学习，动态调整其行为，以适应真实世界环境中的不确定性，是一个重要的挑战。

核心思路：LITEN的核心思路是利用一个高级的Vision-Language Model (VLM)来对低级的VLA策略进行指导和改进。VLM通过分析VLA策略的执行结果，识别出哪些指令是有效的，哪些是无效的，并将这些信息反馈给VLA策略，从而使其能够学习到不同指令的示能性（affordance）。这样，VLA策略在未来的执行过程中，就可以选择那些更可能成功的指令，从而提高任务完成的效率。

技术框架：LITEN的整体框架包含两个主要阶段：推理阶段和评估阶段。在推理阶段，VLM生成一个计划，并将其转化为一系列低级指令，由VLA策略执行。在评估阶段，VLM分析VLA策略的执行结果（例如，通过视频），判断任务是否成功，并识别出哪些指令是有效的，哪些是无效的。然后，VLM将这些信息添加到上下文信息中，用于指导下一次推理。这个过程不断迭代，直到任务成功完成。

关键创新：LITEN的关键创新在于它能够从非结构化的真实世界机器人轨迹（例如，原始视频）中学习。与传统的自完善方法不同，LITEN不需要人工标注的数据，而是通过VLM自动分析视频，提取出有用的信息。此外，LITEN还引入了结构化的指导，以确保评估过程的可靠性。

关键设计：LITEN的关键设计包括：1) 使用VLM作为高级策略，负责生成计划和评估执行结果；2) 使用VLA策略作为低级策略，负责执行指令；3) 使用上下文信息来存储过去的经验，并将其用于指导未来的推理；4) 使用结构化的指导来确保评估过程的可靠性。具体的参数设置、损失函数和网络结构等细节在论文中没有详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了LITEN的有效性。实验结果表明，LITEN能够有效地从过去的经验中学习，生成使用高示能性指令的计划，从而显著提升VLA模型在长时程任务中的表现。具体的性能数据、对比基线和提升幅度等信息在摘要中未提及，属于未知信息。

🎯 应用场景

LITEN具有广泛的应用前景，例如，可以用于训练机器人完成各种复杂的任务，如家庭服务、工业自动化、医疗辅助等。通过不断学习和适应环境，机器人可以更好地理解人类的指令，并自主完成任务，从而提高生产效率和服务质量。此外，LITEN还可以应用于自动驾驶、智能家居等领域，提升系统的智能化水平。

📄 摘要（原文）

Solving complex real-world control tasks often takes multiple tries: if we fail at first, we reflect on what went wrong, and change our strategy accordingly to avoid making the same mistake. In robotics, Vision-Language-Action models (VLAs) offer a promising path towards solving complex control tasks, but lack the ability to contextually and dynamically readjust behavior when they fail to accomplish a task. In this work, we introduce Learning from Inference-Time Execution (LITEN), which connects a VLA low-level policy to a high-level VLM that conditions on past experiences by including them in-context, allowing it to learn the affordances and capabilities of the low-level VLA. Our approach iterates between a reasoning phase that generates and executes plans for the low-level VLA, and an assessment phase that reflects on the resulting execution and draws useful conclusions to be included in future reasoning contexts. Unlike similar approaches to self-refinement in non-robotics domains, LITEN must reflect on unstructured real-world robot trajectories (e.g., raw videos), which requires structured guiderails during assessment. Our experimental results demonstrate LITEN is able to effectively learn from past experience to generate plans that use high-affordance instructions to accomplish long-horizon tasks.