Beyond Entropy: Self-Diagnostic Multi-Role Token Optimization for Video Reasoning

📄 arXiv: 2610.03400v1 📥 PDF

作者: Yudong Han, Yong Wang, Zaiquan Yang, Liang Lin, Chongyang Tao, Xiangxiang Chu, Liyuan Pan

分类: cs.CV

发布日期: 2026-10-02

备注: 19 pages, 6 figures, under review

💡 一句话要点

提出DyCPO框架以解决视频推理中的模糊信号问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频推理 多模态学习 强化学习 反事实干预 token优化 自我诊断 动态信号

📋 核心要点

  1. 现有方法在视频推理中面临模糊的token级别信用分配问题，导致推理效率低下。
  2. DyCPO框架通过共同进化优化token选择与反事实干预，平衡视觉探索与答案相关性。
  3. 在复杂视频推理任务中，DyCPO展现出一致的性能提升，确立了其作为稳健的token级信用分配范式。

📝 摘要（中文）

强化学习在可验证奖励下显著推动了多模态推理的发展，但在模糊的token级别信用分配上仍存在根本性限制。高熵token启发式方法虽然促进了可能性的探索，但在视频推理中容易导致推理过程冗长，模型过于依赖高熵视觉激活。相对的，基于反事实的视觉token定位方法也往往优先考虑视觉探索，而忽视了答案推导所需的关键推理线索。本文提出了DyCPO，一个共同进化框架，优化可靠的token选择和自适应反事实干预，构建多角色依赖度量，以平衡视觉探索和答案相关性挖掘。通过动态生成反事实信号，DyCPO实现了自我诊断分析和优化目标与策略的共同进化，实验结果表明其在复杂视频推理和视频理解基准上均有显著提升。

🔬 方法详解

问题定义：本论文旨在解决视频推理中模糊的token级别信用分配问题。现有方法如高熵token启发式和反事实视觉token定位，往往导致推理过程冗长或过度依赖视觉探索，影响最终答案的推导。

核心思路：DyCPO框架通过共同进化的方式，优化token选择和反事实干预，动态调整策略以适应训练过程。其设计旨在平衡视觉探索与答案相关性，减少冗余的探索性token和虚假视觉噪声。

技术框架：DyCPO的整体架构包括多个模块，首先是token选择模块，通过多角色依赖度量来评估token的有效性；其次是反事实干预模块，动态生成反事实信号；最后是自我诊断分析模块，实时调整优化目标。

关键创新：DyCPO的主要创新在于其动态生成反事实信号的能力，使得优化目标能够与策略共同进化，这一设计与传统静态反事实策略形成鲜明对比，提升了模型的适应性和推理能力。

关键设计：在DyCPO中，关键参数设置包括多角色依赖度量的权重调整、损失函数的设计以平衡探索与推理，以及网络结构的优化以支持动态反事实信号的生成。具体细节未在摘要中详述，需参考原文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DyCPO在复杂视频推理任务上相较于基线方法有显著提升，具体性能数据未在摘要中提供，需参考原文以获取详细信息。整体上，DyCPO展现出其作为稳健token级信用分配范式的潜力。

🎯 应用场景

该研究的潜在应用领域包括智能视频分析、自动化监控、教育视频理解等。通过提高视频推理的准确性和效率，DyCPO框架能够为多模态学习系统提供更强的支持，推动相关技术的实际应用和发展。

📄 摘要（原文）

Reinforcement learning with verifiable rewards has substantially advanced multimodal reasoning, yet it remains fundamentally limited by ambiguous token-level credit assignment. While high-entropy token heuristics encourage possibility exploration, naively extending them to video reasoning tends to induce lengthy reasoning, as the model becomes overly reliant on high-entropy visual activations. Alternative approaches that rely on counterfactual-based visual token localization for credit assignment also tend to over-prioritize visual exploration at the expense of decisive reasoning cues for answer derivation, thereby exacerbating the interference from spurious visual nuances. Moreover, these methods employ static counterfactual strategies that fail to co-evolve with the policy during training. In this paper, we introduce DyCPO, a co-evolutionary framework that jointly optimizes reliable token selection and adaptive counterfactual intervention. It constructs a multi-role dependence metric to balance visual exploration and answer-relevance mining in token-wise contrastive learning, while suppressing exploration-only filler tokens and spurious visual noise. Rather than relying on static counterfactual priors, DyCPO dynamically derives counterfactual signals from the model's own successful and failed rollouts, enabling self-diagnostic analysis and co-evolution of the optimization objective with the policy. Extensive experiments on complex video reasoning and general video understanding benchmarks demonstrate consistent performance improvements, establishing DyCPO as a robust token-level credit assignment paradigm for multimodal reinforcement learning.