Taming CoT Obfuscation in VLMs: From Mechanistic Evidence to Activation Enforcement

📄 arXiv: 2609.24243v1 📥 PDF

作者: Xutao Mao, Jianing Zhu, Jinman Zhao, Tongliang Liu, Xiaowen Chu, Cong Wang, Bo Han

分类: cs.AI

发布日期: 2026-09-21

💡 一句话要点

提出TAME以解决VLM中的链式思维模糊问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 链式思维 视觉语言模型 强化学习 稀疏自编码器 可监控性 多模态系统 行为反馈

📋 核心要点

  1. 现有方法在强化学习中导致链式思维模糊，尽管任务奖励上升，但可监控性却下降。
  2. 本文提出目标反模糊机制（TAME），通过稀疏自编码器抑制模板相关激活，结合行为反馈提升可监控性。
  3. 实验结果表明，TAME在多个数据集上提升了CoT的可监控性，分别提高了30.9和16.7个百分点。

📝 摘要（中文）

强化学习（RL）在视觉语言模型（VLM）中提升推理能力，但可能导致链式思维（CoT）模糊现象，即任务奖励或准确性上升的同时，模型的可监控性下降。以往研究主要记录了这种行为衰退，缺乏对其表示层次的关联和可操作控制的明确性。本文提出了目标反模糊机制（TAME），结合稀疏自编码器（SAE）和行为反馈，针对性地抑制模板相关激活，从而提升CoT的可监控性。实验结果显示，TAME在多个数据集上显著改善了监控能力，提供了从行为监控到表示层次监督的路径。

🔬 方法详解

问题定义：本文旨在解决在视觉语言模型中，强化学习导致的链式思维模糊现象。现有方法未能有效控制这种模糊，导致模型的可监控性下降。

核心思路：论文提出的TAME方法通过稀疏自编码器结合行为反馈，针对性地抑制模板相关激活，以提升模型的可监控性。这样的设计旨在保持特征的局部化，同时促进基于行为反馈的精细化调整。

技术框架：TAME的整体架构包括两个主要模块：一是稀疏自编码器用于特征提取和激活抑制，二是行为反馈机制用于指导模型的学习过程。通过这两个模块的协同作用，模型能够在强化学习过程中保持较高的可监控性。

关键创新：TAME的核心创新在于其不对称约束机制，仅对模板激活施加惩罚，确保激活水平不低于其强化学习前的基线。这一设计与现有方法的根本区别在于其针对性和局部化的特征控制。

关键设计：TAME采用了特定的损失函数来平衡行为反馈与激活抑制的关系，并通过稀疏自编码器的结构设计来实现特征的有效提取与抑制。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，TAME在VIRL-39k和SPA-VL数据集上分别提升了CoT可监控性30.9和16.7个百分点，相较于基线方法Group Relative Policy Optimization（GRPO）有显著改善。此外，盲评结果表明人类评估者在两个数据集上也观察到了更高的可监控性。

🎯 应用场景

该研究的潜在应用领域包括多模态系统的开发与优化，尤其是在需要高可监控性的任务中，如自动驾驶、医疗影像分析等。通过提升模型的可监控性，未来的多模态系统将更具透明性和可审计性，增强用户信任。

📄 摘要（原文）

Reinforcement learning (RL) improves reasoning in vision-language models (VLMs) but can induce chain-of-thought (CoT) obfuscation: an operational, non-intentional outcome where task reward or accuracy rises while traces become less grounded and monitorable. Prior work largely documents this decay behaviorally, leaving its representation-level correlates and actionable controls unclear. We find that template- and ground-associated activations become less separable during RL; matched interventions support the contribution of selected features to monitorability degradation. Guided by this evidence, we propose Targeted Anti-obfuscation with Mechanistic Enforcement (TAME), which uses Sparse Autoencoders (SAEs) to combine behavioral feedback with targeted suppression of template-associated activations during RL. Its asymmetric constraint penalizes template activations only above their pre-RL baseline, anchoring the localized features while behavioral feedback promotes grounded refinements. Across VIRL-39k, SPA-VL, and two model families, TAME improves CoT monitorability by up to 30.9 and 16.7 percentage points over Group Relative Policy Optimization (GRPO), respectively. Blinded human evaluation finds higher human monitorability on both datasets, and two held-out monitor families reproduce the monitorability gains. Task accuracy changes are small and mixed, and general-capability benchmarks show task-specific trade-offs. These results provide a path from behavioral monitoring to representation-level oversight for more auditable RL-trained multimodal systems.