ThinkOmni: Lifting Textual Reasoning to Omni-modal Scenarios via Guidance Decoding

📄 arXiv: 2602.23306 📥 PDF

作者: Yiran Guan, Sifan Tu, Dingkang Liang, Linghao Zhu, Jianzhong Ju, Zhenbo Luo, Jian Luan, Yuliang Liu, Xiang Bai

分类: cs.CV

发布日期: 2026-02-28

💡 一句话要点

ThinkOmni：通过引导解码将文本推理能力提升到全模态场景

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 全模态推理 大型语言模型 引导解码 对比学习 多模态融合 知识迁移 推理能力提升

📋 核心要点

  1. 现有全模态大语言模型推理能力不足，直接训练成本高昂，需要大量高质量数据和算力。
  2. ThinkOmni利用现成的大型推理模型引导全模态模型的解码过程，无需额外训练数据和参数调整。
  3. 实验表明，ThinkOmni在多个多模态推理基准测试中取得了显著的性能提升，例如在MathVista和MMAU上分别达到了70.2和75.5。

📝 摘要（中文）

全模态推理对于智能系统理解和推断来自不同数据源的信息至关重要。现有的全模态大型语言模型(OLLM)擅长感知各种模态，但缺乏最近大型推理模型(LRM)的复杂推理能力。通过额外训练来增强OLLM的推理能力面临重大挑战，包括需要高质量数据、特定于任务的适应以及巨大的计算成本。为了解决这些限制，我们提出了ThinkOmni，这是一个无需训练和数据的框架，可以将文本推理提升到全模态场景。ThinkOmni引入了两个关键组件：1) LRM-as-a-Guide，它利用现成的LRM来指导OLLM解码过程；2) 逐步对比缩放，自适应地平衡感知和推理信号，无需手动调整超参数。在六个多模态推理基准上的实验表明，ThinkOmni始终如一地提供性能改进，主要结果在MathVista上达到70.2，在MMAU上达到75.5。总的来说，ThinkOmni为全模态推理提供了一个灵活且通用的解决方案，并为推理能力的泛化和应用提供了新的见解。

🔬 方法详解

问题定义：论文旨在提升全模态大型语言模型（OLLM）的推理能力。现有OLLM虽然擅长感知多模态信息，但在复杂推理方面不如专门的大型推理模型（LRM）。直接训练OLLM以增强推理能力面临数据质量、任务适配和计算成本等多重挑战。

核心思路：ThinkOmni的核心思路是利用现成的、经过良好训练的LRM作为“指导者”，在OLLM的解码过程中提供推理指导。这种方法避免了从头开始训练OLLM的推理能力，从而节省了计算资源和数据需求。同时，通过自适应地平衡感知和推理信号，确保OLLM能够有效地利用多模态信息进行推理。

技术框架：ThinkOmni框架主要包含两个核心模块：LRM-as-a-Guide和Stepwise Contrastive Scaling。LRM-as-a-Guide模块负责利用LRM生成推理路径，并将其作为指导信号传递给OLLM的解码过程。Stepwise Contrastive Scaling模块则负责在解码过程中自适应地调整感知和推理信号的权重，以实现最佳的推理性能。整个流程可以概括为：输入多模态信息 -> LRM生成推理路径 -> OLLM解码，同时受到LRM推理路径的指导 -> Stepwise Contrastive Scaling动态调整感知和推理信号 -> 输出最终推理结果。

关键创新：ThinkOmni的关键创新在于提出了一种无需训练和数据的全模态推理框架。它巧妙地利用了现有的LRM的推理能力，并通过引导解码的方式将其迁移到OLLM中。此外，Stepwise Contrastive Scaling模块能够自适应地平衡感知和推理信号，避免了手动调整超参数的繁琐过程。这种方法不仅降低了训练成本，还提高了OLLM的推理性能。

关键设计：LRM-as-a-Guide模块的关键在于如何有效地将LRM的推理路径融入到OLLM的解码过程中。具体实现方式未知，但推测可能涉及到某种形式的注意力机制或条件生成模型，使得OLLM在生成答案时能够参考LRM提供的推理步骤。Stepwise Contrastive Scaling模块的关键在于如何设计对比损失函数以及如何动态地调整感知和推理信号的权重。具体的损失函数形式和权重调整策略未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ThinkOmni在六个多模态推理基准测试中取得了显著的性能提升。在MathVista数据集上，ThinkOmni达到了70.2的准确率，在MMAU数据集上达到了75.5的准确率。这些结果表明，ThinkOmni能够有效地提升全模态模型的推理能力，并且具有良好的泛化性能。相较于直接训练OLLM，ThinkOmni无需额外的数据和计算资源，具有更高的实用价值。

🎯 应用场景

ThinkOmni具有广泛的应用前景，可用于智能问答、视觉推理、机器人导航等领域。例如，在智能问答中，ThinkOmni可以帮助模型更好地理解问题中的多模态信息，并进行更准确的推理。在机器人导航中，ThinkOmni可以帮助机器人理解周围环境，并做出更合理的决策。该研究的实际价值在于降低了全模态推理模型的训练成本，并提高了其推理性能，有望推动人工智能技术的发展。

📄 摘要（原文）

Omni-modal reasoning is essential for intelligent systems to understand and draw inferences from diverse data sources. While existing omni-modal large language models (OLLM) excel at perceiving diverse modalities, they lack the complex reasoning abilities of recent large reasoning models (LRM). However, enhancing the reasoning ability of OLLMs through additional training presents significant challenges, including the need for high-quality data, task-specific adaptation, and substantial computational costs. To address these limitations, we propose ThinkOmni, a training-free and data-free framework that lifts textual reasoning to omni-modal scenarios. ThinkOmni introduces two key components: 1) LRM-as-a-Guide, which leverages off-the-shelf LRMs to guide the OLLM decoding process; 2) Stepwise Contrastive Scaling, which adaptively balances perception and reasoning signals without manual hyperparameter tuning. Experiments on six multi-modal reasoning benchmarks demonstrate that ThinkOmni consistently delivers performance improvements, with main results achieving 70.2 on MathVista and 75.5 on MMAU. Overall, ThinkOmni offers a flexible and generalizable solution for omni-modal reasoning and provides new insights into the generalization and application of reasoning capabilities.