Learning to Reason with Compressed Context: Ground-Truth-Free Adaptation of OmniLLMs via Self-Distillation
作者: Jianghao Wang, Ke Meng, Jian Li, Chi Cheng, Longyu Qi, Liyin Liang, Yifeng Qian, Chunbo Lai, Yutian Lin, Zeyu Wang
分类: cs.CV
发布日期: 2026-09-30
备注: 31 pages, 5 figures. Project page: https://github.com/Bamboos2003/CAFD
💡 一句话要点
提出CAFD框架以解决OmniLLMs压缩上下文推理问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长视频理解 蒸馏训练 多模态融合 压缩上下文 自蒸馏
📋 核心要点
- 现有方法在处理压缩上下文时，往往无法有效保持准确性，导致性能下降。
- 本文提出CAFD框架，通过自蒸馏技术在压缩上下文中进行推理，避免依赖地面真相。
- 实验结果显示，CAFD在125个条件下提升了120个条件的准确性，平均提升1.44个百分点。
📝 摘要（中文）
Omni模态大语言模型（OmniLLMs）实现了统一的音频-视频理解，但其长的多模态令牌序列使得部署计算成本高昂。虽然令牌压缩可以降低成本，但过度压缩往往会降低准确性。现有研究主要集中在设计更好的压缩机制上，而如何使基础语言模型有效地在压缩上下文中进行推理仍然未被充分探索。为此，本文提出了CAFD（通过全上下文蒸馏进行压缩上下文适应），这是一个无地面真相的自蒸馏框架，能够在不需要参考答案、推理或正确性奖励的情况下，将OmniLLMs适应于固定的压缩管道。CAFD利用同一多模态样本的全令牌视图作为特权信息，提供软目标监督给压缩上下文的学生模型。通过在Qwen2.5-Omni-7B上进行评估，CAFD在五个音频-视频基准、五个压缩管道和五个部署预算下表现出一致的提升，平均准确性提高1.44个百分点，平均恢复26.9%的准确性差距。这些结果表明，所提出的无地面真相适应为提高部署OmniLLMs的准确性与效率权衡提供了有效且实用的途径。
🔬 方法详解
问题定义：本文旨在解决在压缩上下文中推理的准确性问题。现有方法主要集中在压缩机制的设计上，但缺乏对语言模型在压缩上下文中推理能力的适应性研究。
核心思路：CAFD框架通过自蒸馏的方式，将全上下文视图作为特权信息，提供软目标监督给压缩上下文的学生模型，从而提高推理效果。
技术框架：CAFD的整体架构包括全上下文自教师和压缩上下文学生模型两个主要模块。全上下文自教师生成软目标，指导学生模型在其策略轨迹上进行学习。
关键创新：CAFD的创新在于其无地面真相的自蒸馏方法，允许模型在没有参考答案的情况下进行有效学习，这与传统依赖地面真相的蒸馏方法有本质区别。
关键设计：在设计中，CAFD采用了特定的损失函数来平衡全上下文和压缩上下文之间的学习，同时在网络结构上优化了学生模型的参数设置，以适应不同的压缩管道。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CAFD在五个音频-视频基准测试中表现优异，提升了120个条件的准确性，平均提高1.44个百分点，并且在多个压缩管道和部署预算下恢复了26.9%的准确性差距，显示出其在实际应用中的有效性。
🎯 应用场景
该研究的潜在应用领域包括多模态内容生成、智能监控系统以及音频-视频检索等。通过提高OmniLLMs在压缩上下文中的推理能力，能够在资源受限的环境中实现更高效的多模态理解，具有重要的实际价值和未来影响。
📄 摘要（原文）
Omni-modal large language models (OmniLLMs) enable unified audio-video understanding, but their long multimodal token sequences make deployment computationally expensive. Token compression reduces this cost, yet aggressive compression often lowers accuracy. Existing works predominantly focus on designing better compression mechanisms; however, adapting the underlying language model to reason effectively over the remaining compressed context remains under-explored. To address this, we propose CAFD (Compressed-Context Adaptation via Full-Context Distillation), a ground-truth-free self-distillation framework that adapts OmniLLMs to fixed compression pipelines without requiring reference answers, rationales, or correctness rewards. CAFD leverages the full-token view of the same multimodal sample as a source of privileged information: a full-context self-teacher provides soft target supervision to a compressed-context student along the student's on-policy trajectory. Evaluated on Qwen2.5-Omni-7B across five audio-video benchmarks, five compression pipelines, and five deployment budgets, CAFD demonstrates consistent gains, improving 120 out of 125 conditions with an average accuracy boost of 1.44 points and recovering 26.9% of the accuracy gap on average. These results demonstrate that the proposed ground-truth-free adaptation offers an effective and practical route to improving the accuracy-efficiency trade-off in deployed OmniLLMs.