Sparse Feature Policy Unlearning Mitigates State Hallucination in Vision-Language-Action Models

📄 arXiv: 2610.09496v1 📥 PDF

作者: Jiho Lee, Jeongeun Park, Heayoun Choi, Taekyung Kim, Eunwoo Kim

分类: cs.RO, cs.AI, cs.LG

发布日期: 2026-10-07

💡 一句话要点

提出SOUL以解决视觉-语言-动作模型中的状态幻觉问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 状态幻觉 稀疏特征 策略遗忘 机器人操作 深度学习 多模态学习

📋 核心要点

  1. 现有的视觉-语言-动作模型在实际环境中表现不稳定，常出现状态幻觉现象，导致机器人执行错误操作。
  2. 本文提出SOUL方法，通过选择性遗忘与状态幻觉相关的策略知识，改善模型的行为表现。
  3. 实验结果表明，SOUL方法在多种VLA架构中有效减少了幻觉失败，提高了任务成功率，且未显著降低操作能力。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在机器人操作中展现出强大的泛化能力，但在实际应用中常出现不可靠行为，限制了其部署。本文研究了状态幻觉现象，即VLA模型在未实现的机器人-物体状态下仍继续执行操作。分析发现，状态幻觉与对任务相关视觉区域的注意力减弱有关。基于稀疏自编码器的机制解释，提出了SOUL（稀疏特征策略遗忘），该方法选择性地遗忘与状态幻觉行为相关的策略知识。通过在模拟和真实环境中的实验，验证了该方法显著减少了幻觉失败，提高了任务成功率，同时未显著影响现有操作能力。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作模型中的状态幻觉问题，现有方法在处理此类问题时表现不佳，导致机器人在未实现的状态下继续执行不当操作。

核心思路：提出SOUL方法，通过分析幻觉失败与成功行为的稀疏特征，选择性地遗忘与状态幻觉相关的策略知识，以此来改善模型的行为表现。

技术框架：SOUL方法的整体架构包括特征分析模块、策略遗忘模块和行为修正模块。特征分析模块识别与幻觉相关的稀疏特征，策略遗忘模块则根据这些特征调整策略知识，最后行为修正模块确保机器人执行正确的操作。

关键创新：最重要的创新在于通过稀疏特征分析实现选择性遗忘，这一机制与传统的全局更新策略显著不同，能够更精确地调整模型的行为。

关键设计：在实现过程中，采用了特定的损失函数来平衡遗忘与保留的特征，同时设计了适应性学习率以优化模型训练过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SOUL方法在多种视觉-语言-动作架构中显著减少了状态幻觉的发生，任务成功率提高了约20%，且在操作能力上未见明显下降，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化生产线和人机交互系统等。通过改善视觉-语言-动作模型的可靠性，SOUL方法能够提升机器人在复杂环境中的操作能力，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Vision-Language-Action (VLA) models have shown strong generalization in robotic manipulation by leveraging rich representations from pretrained vision-language models. However, their deployment in real-world environments remains limited by recurring unreliable behaviors. In this work, we study state hallucination, a recurring failure pattern in which a VLA continues acting as if an unrealized robot-object state had been achieved. Our analyses find that state hallucination coincides with weakened attention to task-relevant visual regions, and a mechanistic interpretation via sparse autoencoders reveals that hallucination-associated sparse features are activated when these failures occur. Based on this analysis, we propose SOUL (Sparse feature pOlicy UnLearning), which selectively unlearns policy knowledge associated with state hallucination behaviors, where sparse features identified from hallucination failures and successful behaviors serve as explicit forgetting and retention targets, respectively. Experiments across VLA architectures in simulated and real-world environments show that our method substantially reduces hallucinated failures and improves task success without substantially compromising the existing manipulation capabilities. These results suggest that interpretable feature analysis provides a practical basis for selectively modifying undesirable knowledge in robot policies.