Text-Centric Post-Training for Omni-Modal Reasoning

📄 arXiv: 2610.02819v1 📥 PDF

作者: Ziyang Cheng, Yuhao Wang, Hongcheng Liu, Qimin Wu, Jingru Fan, Chen Qian, Yanfeng Wang, Yu Wang

分类: cs.CL

发布日期: 2026-10-02

💡 一句话要点

提出文本中心后训练以提升多模态推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 文本中心训练 强化学习 音视频融合 模型优化

📋 核心要点

  1. 现有的音视频联合推理方法在多跳推理上存在困难，尽管单跳问题的答案正确，但整体性能仍受限。
  2. 论文提出了一种文本中心的后训练范式，先进行文本推理训练，再通过音视频强化学习优化感知能力。
  3. 实验结果表明，最佳文本训练配置使推理性能提升25.83%，且在GPU资源使用上显著降低，表现出良好的效率。

📝 摘要（中文）

在Omni大型语言模型中，提升音视频联合推理通常需要大量的数据构建和训练成本。研究表明，尽管单跳问题的答案正确，但多跳推理仍存在困难，提示感知与推理目标的局部优化存在部分解耦。这促使我们提出一种后训练方法，强调不同能力的优化。文本中心的推理训练在不同数据源、模型规模和家族中均表现出提升。通过最佳的文本中心配置，监督微调结合强化学习使Qwen2.5-Omni-7B的九个推理分数的几何平均提升了25.83%，且GPU小时数减少56.6%。完全由文本生成的合成数据训练使几何平均提升21.01%。然而，文本训练会降低感知能力，因此我们提出文本中心后训练范式，先进行文本推理优化，再通过减少数据的音视频强化学习来细化感知。

🔬 方法详解

问题定义：本论文旨在解决Omni大型语言模型在音视频联合推理中的多跳推理困难，现有方法在处理复杂推理时表现不佳，且训练成本高昂。

核心思路：提出文本中心后训练范式，首先通过文本训练优化推理能力，然后利用减少数据的音视频强化学习细化感知能力，以此实现性能提升和资源节约。

技术框架：整体架构包括两个主要阶段：第一阶段为文本中心的推理训练，第二阶段为基于音视频的强化学习优化感知。文本训练提供主要的推理优化，而音视频强化学习则在此基础上进行细化。

关键创新：最重要的创新在于提出了文本中心的后训练方法，通过分阶段的训练策略有效提升了推理性能，同时减少了对音视频数据的依赖。

关键设计：在训练过程中，采用了监督微调和强化学习相结合的策略，文本训练阶段使用了特定的损失函数以优化推理能力，而音视频强化学习阶段则通过减少90%的输入标记来恢复感知能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，最佳文本训练配置使Qwen2.5-Omni-7B的推理性能提升25.83%，同时GPU小时数减少56.6%。通过完全由文本生成的合成数据训练，几何平均提升21.01%。该方法在保持推理性能的同时，显著降低了训练成本。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动驾驶、视频分析等多模态任务，能够有效提升系统在复杂场景下的推理能力和感知精度。未来，该方法可能推动多模态AI系统的广泛应用，提升人机交互的智能化水平。

📄 摘要（原文）

Improving joint audio-visual reasoning in Omni Large Language Models typically incurs substantial data construction and training costs. Our diagnostics reveal multi-hop reasoning difficulties despite correct answers to all corresponding single-hop questions and suggest partial decoupling in the local optimization of perception and reasoning objectives. This motivates post-training with different emphases on these capabilities. Text-only reasoning training yields gains across data sources, model scales, and families. With the best-performing text-only configuration, supervised fine-tuning followed by reinforcement learning (RL) raises Qwen2.5-Omni-7B's geometric mean of nine reasoning scores by 25.83% over the base model, outperforming the complete native audio-visual route with 56.6% fewer GPU-hours. Training on data synthesized entirely by a text-only LLM raises this geometric mean by 21.01% without audio-visual data in construction or training. However, text-only training degrades perception. We therefore propose a text-centric post-training paradigm: text-only training provides the main reasoning optimization, and reduced-data native audio-visual RL then refines perception. Refinement uses about 90% fewer input tokens than full-data audio-visual RL, restores perception above the base level, and retains 93.5% of the best-performing text-only pipeline's reasoning gain.