ThinkOmni: Lifting Textual Reasoning to Omni-modal Scenarios via Guidance Decoding

📄 arXiv: 2602.23306v1 📥 PDF

作者: Yiran Guan, Sifan Tu, Dingkang Liang, Linghao Zhu, Jianzhong Ju, Zhenbo Luo, Jian Luan, Yuliang Liu, Xiang Bai

分类: cs.CV

发布日期: 2026-02-26

备注: Accept by ICLR 2026

💡 一句话要点

ThinkOmni：通过引导解码将文本推理能力提升到全模态场景

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 全模态推理 大语言模型 推理引导 对比缩放 无训练方法 多模态融合 知识迁移

📋 核心要点

  1. 现有全模态大语言模型推理能力不足，直接训练成本高昂，面临数据质量、任务适配和计算资源等挑战。
  2. ThinkOmni利用大型推理模型引导全模态模型解码，并采用逐步对比缩放自适应平衡感知和推理信号。
  3. 实验表明，ThinkOmni在多个多模态推理基准测试中取得了显著的性能提升，无需额外训练数据。

📝 摘要（中文）

全模态推理对于智能系统理解和推断来自不同数据源的信息至关重要。现有的全模态大型语言模型(OLLM)擅长感知各种模态，但缺乏最近大型推理模型(LRM)的复杂推理能力。通过额外训练来增强OLLM的推理能力面临重大挑战，包括需要高质量数据、任务特定适配和大量计算成本。为了解决这些限制，我们提出了ThinkOmni，一个无需训练和数据的框架，将文本推理提升到全模态场景。ThinkOmni引入了两个关键组件：1) LRM-as-a-Guide，利用现成的LRM来指导OLLM解码过程；2) 逐步对比缩放，自适应地平衡感知和推理信号，无需手动调整超参数。在六个多模态推理基准上的实验表明，ThinkOmni始终如一地提供性能改进，主要结果在MathVista上达到70.2，在MMAU上达到75.5。总的来说，ThinkOmni为全模态推理提供了一个灵活和通用的解决方案，并为推理能力的泛化和应用提供了新的见解。

🔬 方法详解

问题定义：论文旨在解决全模态场景下，现有全模态大语言模型（OLLM）推理能力不足的问题。现有方法通常需要大量高质量数据进行训练，并且需要针对特定任务进行适配，计算成本高昂。这些痛点限制了OLLM在实际应用中的泛化能力和效率。

核心思路：ThinkOmni的核心思路是利用现成的大型推理模型（LRM）作为“指导者”，在OLLM的解码过程中提供推理指导。通过这种方式，无需对OLLM进行额外的训练，即可提升其在全模态场景下的推理能力。同时，引入逐步对比缩放机制，自适应地平衡感知和推理信号，避免手动调整超参数。

技术框架：ThinkOmni框架主要包含两个核心模块：LRM-as-a-Guide和Stepwise Contrastive Scaling。LRM-as-a-Guide模块利用预训练的LRM，根据OLLM的当前状态生成推理指导信息。这些指导信息被融入到OLLM的解码过程中，引导其生成更合理的答案。Stepwise Contrastive Scaling模块则根据OLLM的感知和推理信号，动态调整LRM指导信息的影响权重，从而实现感知和推理之间的平衡。整个过程是训练无关的，即不需要额外的训练数据。

关键创新：ThinkOmni的关键创新在于其训练无关的推理能力提升方法。与传统的需要大量训练数据和计算资源的方法不同，ThinkOmni通过利用现成的LRM，实现了推理能力的“迁移”。此外，Stepwise Contrastive Scaling模块的自适应平衡机制，避免了手动调整超参数的繁琐过程，提高了框架的易用性和泛化能力。

关键设计：LRM-as-a-Guide模块的具体实现方式未知，论文中可能未详细描述如何将LRM的输出融入到OLLM的解码过程中。Stepwise Contrastive Scaling模块的关键设计在于如何定义和计算感知和推理信号，以及如何根据这些信号动态调整LRM指导信息的影响权重。这些细节可能需要在论文的补充材料或代码中进一步研究。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ThinkOmni在MathVista和MMAU等多模态推理基准测试中取得了显著的性能提升。在MathVista上，ThinkOmni达到了70.2的性能，在MMAU上达到了75.5。这些结果表明，ThinkOmni能够有效地提升OLLM在全模态场景下的推理能力，并且具有良好的泛化能力。与现有方法相比，ThinkOmni无需额外的训练数据，降低了训练成本，提高了效率。

🎯 应用场景

ThinkOmni在智能问答、机器人导航、自动驾驶等领域具有广泛的应用前景。它可以帮助智能系统更好地理解和推理来自图像、文本、语音等多种模态的信息，从而做出更准确、更合理的决策。例如，在智能问答系统中，ThinkOmni可以根据用户提供的图像和文本信息，更准确地回答用户的问题。在机器人导航中，ThinkOmni可以帮助机器人更好地理解周围环境，从而规划出更安全、更有效的路径。

📄 摘要（原文）

Omni-modal reasoning is essential for intelligent systems to understand and draw inferences from diverse data sources. While existing omni-modal large language models (OLLM) excel at perceiving diverse modalities, they lack the complex reasoning abilities of recent large reasoning models (LRM). However, enhancing the reasoning ability of OLLMs through additional training presents significant challenges, including the need for high-quality data, task-specific adaptation, and substantial computational costs. To address these limitations, we propose ThinkOmni, a training-free and data-free framework that lifts textual reasoning to omni-modal scenarios. ThinkOmni introduces two key components: 1) LRM-as-a-Guide, which leverages off-the-shelf LRMs to guide the OLLM decoding process; 2) Stepwise Contrastive Scaling, which adaptively balances perception and reasoning signals without manual hyperparameter tuning. Experiments on six multi-modal reasoning benchmarks demonstrate that ThinkOmni consistently delivers performance improvements, with main results achieving 70.2 on MathVista and 75.5 on MMAU. Overall, ThinkOmni offers a flexible and generalizable solution for omni-modal reasoning and provides new insights into the generalization and application of reasoning capabilities.