Rephrase Before You Act: Characterizing and Mitigating Language Sensitivity in Vision-Language-Action Models
作者: Mikey Watts, Yuchen Cui
分类: cs.RO, cs.CL, cs.LG
发布日期: 2026-10-07
备注: 9 pages, 8 figures, 3 tables. Project page: https://sttawm.github.io/rephrase-before-you-act
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出重述策略以缓解视觉语言行动模型的语言敏感性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型 语言敏感性 重述策略 多模态学习 模型鲁棒性
📋 核心要点
- 现有视觉语言行动模型对指令措辞的敏感性极高，导致模型在不同措辞下表现差异显著，影响实际应用效果。
- 论文提出通过大语言模型生成重述规则，在不改变模型策略的情况下，优化模型对不同指令的响应能力。
- 实验结果表明，重述策略在多个任务上显著提升了模型的成功率，尤其是在面对分布外任务时，效果更为明显。
📝 摘要（中文）
视觉语言行动模型（VLA）对指令措辞极为敏感，未能继承其基础视觉语言模型的语言鲁棒性。论文通过统计测试和短语搜索表明，措辞的变化可以显著影响模型的表现。为此，研究者提出了一种重述增强的方法，通过大语言模型提炼出重述规则，在不修改策略的情况下，提升模型在多项任务上的表现，尤其是在分布外任务上。实验结果显示，该方法在多个任务上提升了16%至27%的成功率，并在特定模型上将成功率从93.6%提升至97.8%。
🔬 方法详解
问题定义：论文要解决的问题是视觉语言行动模型在面对不同措辞时表现出的极高敏感性，现有方法未能有效应对这一挑战，导致模型在实际应用中表现不稳定。
核心思路：论文的核心思路是通过构建重述规则来缓解模型的语言敏感性，利用大语言模型对训练任务的多种措辞进行评分，从而生成有效的重述策略。
技术框架：整体架构包括三个主要阶段：首先，统计分析不同措辞对模型表现的影响；其次，使用大语言模型提炼出重述规则；最后，在部署阶段对输入指令进行重述处理，以提升模型的响应能力。
关键创新：最重要的技术创新点在于提出了一种无需重新训练的重述增强方法，通过明确的重述规则来系统性地改善模型对不同措辞的适应能力，与现有方法相比，显著提升了模型的鲁棒性。
关键设计：在设计中，研究者通过对多种措辞进行评分，提炼出10到20条重述规则，确保这些规则能够有效覆盖多种输入情况，且在实验中未涉及额外的训练步骤或逐步验证。
🖼️ 关键图片
📊 实验亮点
实验结果显示，重述策略在12个持出任务上相较于基线模型提升了16%至27%的成功率，尤其在分布外任务中表现突出。此外，特定模型的成功率从93.6%提升至97.8%，验证了该方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化客服和人机交互系统等，能够显著提升这些系统在处理多样化指令时的准确性和鲁棒性。未来，该方法有望推广至更多的视觉语言任务，增强模型在复杂环境中的适应能力。
📄 摘要（原文）
Vision-language-action models (VLAs) are strikingly sensitive to instruction phrasing and do not inherit the language robustness of the vision-language models they are built on. A one-word edit can move success by tens of points: $π_{0.5}$ turns on a LIBERO stove 100% of the time for "switch on the stove" and 2% for "switch on the hot plate", and a $π_0$ checkpoint finetuned with rephrase augmentation still shows swings of up to 61 points. We characterize this sensitivity with statistically tested single-edit swings and an oracle phrase search, which shows that phrasing alone nearly closes the 21-point gap between in-distribution and out-of-distribution tasks. We then reduce it without modifying the policy. Because the sensitivity is systematic, it can be expressed as explicit rules: we score many phrasings of a few training tasks, have a large language model distill the evidence into ten to twenty rephrasing rules, and at deployment rewrite each incoming instruction once under these rules. The rules improve the frozen $π_0$ by 16 to 27% relative on twelve held-out tasks across adversarial, VLM-generated, and human-generated phrasings, with gains concentrated on out-of-distribution tasks. The pipeline replicates on $π_{0.5}$ and LIBERO, lifting in-finetune success from 93.6% to 97.8%. The method requires no retraining and no per-step verification, and applies zero-shot to unseen tasks and instructions. Project website: https://sttawm.github.io/rephrase-before-you-act