Learning Affordances at Inference-Time for Vision-Language-Action Models

📄 arXiv: 2510.19752v1 📥 PDF

作者: Ameesh Shah, William Chen, Adwait Godbole, Federico Mora, Sanjit A. Seshia, Sergey Levine

分类: cs.RO, cs.AI

发布日期: 2025-10-22

备注: 7 pages and appendix

💡 一句话要点

提出LITEN，通过推理时学习能力提升VLA模型在复杂机器人任务中的表现

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言动作模型 机器人控制 推理时学习 示能性 长时程任务

📋 核心要点

  1. 现有VLA模型在机器人控制中缺乏动态调整能力，难以应对复杂任务中的失败情况。
  2. LITEN通过在推理时学习，利用VLM反思执行结果，动态调整VLA策略，提升任务成功率。
  3. 实验表明，LITEN能有效学习经验，生成高示能性指令，完成长时程任务。

📝 摘要（中文）

解决复杂现实世界控制任务通常需要多次尝试。视觉-语言-动作模型(VLA)在机器人领域展现出解决复杂控制任务的潜力，但缺乏在任务失败时动态调整行为的能力。本文提出了一种名为“推理时执行学习”(LITEN)的方法，它将VLA低级策略与高级VLM连接起来，通过上下文包含过去的经验来调节VLM，使其能够学习低级VLA的示能性和能力。LITEN在推理阶段生成并执行VLA的计划，然后在评估阶段反思执行结果，得出有用的结论，并将其纳入未来的推理上下文。与非机器人领域中类似的自完善方法不同，LITEN必须反思非结构化的真实世界机器人轨迹(例如，原始视频)，这需要在评估期间提供结构化的指导。实验结果表明，LITEN能够有效地从过去的经验中学习，生成利用高示能性指令来完成长时程任务的计划。

🔬 方法详解

问题定义：现有的视觉-语言-动作模型(VLA)在机器人控制任务中，尤其是在长时程复杂任务中，常常因为缺乏动态调整能力而难以成功。当VLA模型执行失败时，无法有效地从失败经验中学习，并调整后续的策略，导致任务完成效率低下。现有的自完善方法主要集中在非机器人领域，难以直接应用于处理机器人任务中非结构化的数据，例如原始视频数据。

核心思路：LITEN的核心思路是在推理过程中进行学习，通过将VLA低级策略与高级VLM连接，利用VLM的推理能力反思过去的执行经验，并将其纳入未来的推理上下文中。这种方法允许模型动态地学习低级VLA的示能性和能力，从而生成更有效的计划。通过迭代推理和评估，LITEN能够不断优化策略，提高任务成功率。

技术框架：LITEN的整体框架包含两个主要阶段：推理阶段和评估阶段。在推理阶段，VLM生成并执行VLA的计划。VLA根据VLM提供的指令执行相应的动作。在评估阶段，LITEN反思执行结果，并从中提取有用的信息。这些信息被添加到未来的推理上下文中，用于指导VLM生成更有效的计划。这个过程不断迭代，直到任务成功完成或达到最大迭代次数。

关键创新：LITEN的关键创新在于其在推理时学习的能力，以及其处理非结构化机器人轨迹数据的能力。与传统的VLA模型相比，LITEN能够动态地调整策略，从而更好地适应复杂任务。此外，LITEN通过结构化的指导，能够有效地从原始视频等非结构化数据中提取有用的信息，这使得它能够应用于更广泛的机器人控制任务。

关键设计：LITEN的关键设计包括VLM的选择、VLA的实现、以及评估阶段的结构化指导。VLM需要具备强大的推理能力，能够根据过去的经验生成有效的计划。VLA需要能够准确地执行VLM提供的指令。评估阶段的结构化指导需要能够有效地从非结构化数据中提取有用的信息，例如任务是否成功、哪些动作导致了失败等。具体的参数设置、损失函数、网络结构等技术细节在论文中可能未详细说明，属于未知信息。

📊 实验亮点

论文实验结果表明，LITEN能够有效地从过去的经验中学习，生成利用高示能性指令来完成长时程任务的计划。具体的性能数据、对比基线、提升幅度等信息在论文中未明确给出，属于未知信息。但整体而言，LITEN展现了在复杂机器人控制任务中学习和适应的能力。

🎯 应用场景

LITEN具有广泛的应用前景，可应用于各种需要机器人自主完成复杂任务的场景，例如家庭服务机器人、工业自动化、医疗辅助机器人等。通过不断学习和适应环境，LITEN能够使机器人更智能、更高效地完成任务，提高生产效率和服务质量。该研究对提升机器人智能化水平具有重要意义。

📄 摘要（原文）

Solving complex real-world control tasks often takes multiple tries: if we fail at first, we reflect on what went wrong, and change our strategy accordingly to avoid making the same mistake. In robotics, Vision-Language-Action models (VLAs) offer a promising path towards solving complex control tasks, but lack the ability to contextually and dynamically readjust behavior when they fail to accomplish a task. In this work, we introduce Learning from Inference-Time Execution (LITEN), which connects a VLA low-level policy to a high-level VLM that conditions on past experiences by including them in-context, allowing it to learn the affordances and capabilities of the low-level VLA. Our approach iterates between a reasoning phase that generates and executes plans for the low-level VLA, and an assessment phase that reflects on the resulting execution and draws useful conclusions to be included in future reasoning contexts. Unlike similar approaches to self-refinement in non-robotics domains, LITEN must reflect on unstructured real-world robot trajectories (e.g., raw videos), which requires structured guiderails during assessment. Our experimental results demonstrate LITEN is able to effectively learn from past experience to generate plans that use high-affordance instructions to accomplish long-horizon tasks.