Paraphrase Consensus Is Not Self-Consistency: Instruction Reliance and Robustness in VLA Policies

📄 arXiv: 2610.19438v1 📥 PDF

作者: Hanlong Li, Sihan Tan, Takeshi Ashizawa, Benjamin Yen, Kazuhiro Nakadai

分类: cs.RO

发布日期: 2026-10-14

备注: 30 pages (8 pages main text)

💡 一句话要点

提出改进的VLA策略以解决指令依赖性和鲁棒性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 指令重述 模型鲁棒性 LoRA后训练 多模态学习

📋 核心要点

  1. 现有的VLA策略在处理指令重述时表现不佳，导致性能显著下降，尤其是在指令依赖性较高的情况下。
  2. 论文提出通过LoRA后训练来减轻指令重述对策略性能的负面影响，从而提高模型的鲁棒性。
  3. 实验结果显示，使用LoRA后训练的模型在处理重述指令时性能提升显著，减少了指令依赖性带来的损失。

📝 摘要（中文）

本文研究了在LIBERO上微调的视觉-语言-动作（VLA）策略，发现指令的重述会显著影响模型的表现，导致OpenVLA的成功率下降38.0分。通过测试时的提示集成，未能恢复这一损失。研究表明，重述共识的使用会导致策略性能下降，尤其是在指令依赖性较高的情况下。通过LoRA后训练，重述指令的影响被显著降低，显示出该方法在不同种子和模型上的一致性。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作（VLA）策略在指令重述时的性能下降问题。现有方法在训练和评估时使用相同的指令字符串，导致模型对指令的依赖性过强，影响了其鲁棒性。

核心思路：论文提出通过LoRA后训练技术来减轻指令重述对模型性能的影响。通过对重述指令的微调，增强模型的适应性和鲁棒性。

技术框架：研究中使用的整体架构包括三个主要模块：指令重述生成、模型微调和性能评估。首先生成多种重述指令，然后对模型进行LoRA后训练，最后评估模型在不同指令下的表现。

关键创新：最重要的创新点在于通过LoRA后训练显著降低了重述指令对模型性能的负面影响，与传统方法相比，提升了模型的鲁棒性和适应性。

关键设计：在技术细节上，论文对LoRA的参数设置进行了优化，确保在微调过程中保持模型的指令依赖性不变，同时通过多种重述指令的评估来验证模型的性能提升。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，使用LoRA后训练的模型在处理重述指令时性能提升显著，减少了指令依赖性带来的损失，表现出+2.0分的提升，相较于对照组的-32.0分，显示出明显的优势。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动驾驶和人机交互等场景。通过提高模型对指令重述的鲁棒性，可以在实际应用中提升用户体验和系统的可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-language-action (VLA) policies fine-tuned on LIBERO are trained and evaluated on the same ten instruction strings, and rewording the instruction changes base OpenVLA's success by -38.0 points. Test-time prompt ensembling, which improves language models, does not recover this loss in any setting we ran. Paraphrase consensus (the medoid action over K paraphrases) costs base OpenVLA 16.8 points when the training instruction is a member. Without it, the medoid of the paraphrases scores -32.4 points relative to the training instruction, and confidence-based selection scores -28.0. The same medoid over samples of one paraphrase improves on greedy decoding but stays -27.6 points below the training instruction, consistent with aggregation reducing variance without removing the bias the paraphrases share. A wrong-instruction probe measures how much of a policy's success depends on the instruction. Across three policies and four suites, paraphrases cost a policy only where this share is high, and the stronger policies lose a much smaller fraction of it than base OpenVLA. LoRA post-training on paraphrased instructions reduces the one-paraphrase effect to +2.0 points, against -32.0 for a matched control, reproduces across two seeds and on OpenVLA-OFT, transfers to withheld phrasings, and leaves the policy's reliance on the instruction unchanged.