Decoupling Understanding from Reasoning via Problem Space Mapping for Small-Scale Model Reasoning

📄 arXiv: 2508.10019v2 📥 PDF

作者: Li Wang, Changhao Zhang, Zengqi Xiu, Kai Lu, Xin Yu, Kui Zhang, Wenjun Wu

分类: cs.CL, cs.AI

发布日期: 2025-08-07 (更新: 2025-12-15)

💡 一句话要点

DURIT：通过问题空间映射解耦理解与推理，提升小规模模型推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 小规模语言模型 推理能力 问题空间映射 解耦理解与推理 强化学习 自蒸馏 迭代训练

📋 核心要点

  1. 小规模语言模型在复杂自然语言推理中面临挑战，因为需要同时理解语言并进行推理。
  2. DURIT通过将自然语言问题映射到规范问题空间，解耦理解和推理，简化推理过程。
  3. 实验表明，DURIT显著提升了小规模语言模型在数学和逻辑推理任务上的性能和鲁棒性。

📝 摘要（中文）

尽管大型语言模型（LLMs）的推理能力取得了显著进展，但提高小规模语言模型（SLMs，例如参数高达15亿的模型）的推理能力仍然具有挑战性。一个关键障碍在于自然语言的复杂性和可变性：本质上等价的问题经常以不同的表面形式出现，并且常常被冗余或分散注意力的细节所掩盖。这给SLMs带来了双重负担：它们必须首先从复杂的语言输入中提取核心问题，然后基于该理解进行推理。由此产生的庞大而嘈杂的问题空间阻碍了优化，特别是对于容量有限的模型。为了解决这个问题，我们提出了一个新的框架，通过将自然语言问题映射到规范的问题空间（一个语义简化但富有表现力的领域）来解耦理解与推理。这使得SLMs能够专注于对标准化输入进行推理，而无需考虑语言的可变性。在这个框架内，我们引入了DURIT（通过迭代训练解耦理解与推理），这是一种三步算法，它迭代地：（1）通过强化学习映射自然语言问题，（2）通过自蒸馏对齐推理轨迹，以及（3）在问题空间中训练推理策略。映射器和推理器在这个过程中以交替循环的方式进行协同训练。实验表明，DURIT显著提高了SLMs在领域内和领域外数学和逻辑推理任务上的性能。除了提高推理能力外，DURIT还提高了推理的鲁棒性，验证了解耦理解与推理是增强SLMs的有效策略。

🔬 方法详解

问题定义：现有的小规模语言模型（SLMs）在处理自然语言推理任务时，由于自然语言的复杂性和多样性，需要同时进行语言理解和推理，这给模型带来了很大的负担。模型需要从复杂的、包含噪声的自然语言描述中提取出核心问题，然后才能进行推理。这种双重负担限制了SLMs的推理能力，尤其是在模型容量有限的情况下。

核心思路：DURIT的核心思路是将自然语言问题映射到一个规范的问题空间，在这个问题空间中，问题以语义简化且标准化的形式呈现。通过这种映射，SLMs可以专注于对标准化输入进行推理，从而避免了自然语言的复杂性和多样性带来的干扰。这种解耦理解和推理的方法可以有效地提高SLMs的推理能力。

技术框架：DURIT是一个三步迭代训练算法：1) 问题映射：使用强化学习将自然语言问题映射到规范问题空间。2) 轨迹对齐：通过自蒸馏对齐推理轨迹，确保推理过程的一致性。3) 策略训练：在问题空间中训练推理策略，优化模型的推理能力。映射器（Mapper）和推理器（Reasoner）在整个过程中交替训练。

关键创新：DURIT的关键创新在于解耦了理解和推理过程，通过问题空间映射将复杂的自然语言问题转化为标准化的形式，从而降低了SLMs的推理难度。这种方法使得SLMs可以专注于推理本身，而无需过多关注自然语言的复杂性。

关键设计：DURIT使用强化学习训练问题映射器，奖励信号基于推理器在问题空间中的表现。自蒸馏用于对齐推理轨迹，确保推理过程的一致性。推理器在问题空间中通过策略梯度方法进行训练。具体的参数设置、损失函数和网络结构等细节在论文中进行了详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DURIT显著提高了小规模语言模型在数学和逻辑推理任务上的性能。在领域内和领域外数据集上，DURIT都取得了显著的提升，验证了其有效性和泛化能力。此外，DURIT还提高了推理的鲁棒性，表明解耦理解与推理是增强SLMs的有效策略。（具体性能数据未知）

🎯 应用场景

DURIT框架可应用于各种需要自然语言理解和推理的场景，例如智能问答、数学问题求解、逻辑推理等。该研究有助于提升小规模语言模型在资源受限环境下的推理能力，使其能够在边缘设备或低功耗设备上部署，具有广泛的应用前景。

📄 摘要（原文）

Despite recent advances in the reasoning capabilities of Large Language Models (LLMs), improving the reasoning ability of Small Language Models (SLMs, e.g., up to 1.5B parameters) remains challenging. A key obstacle lies in the complexity and variability of natural language: essentially equivalent problems often appear in diverse surface forms, often obscured by redundant or distracting details. This imposes a dual burden on SLMs: they must first extract the core problem from complex linguistic input, and then perform reasoning based on that understanding. The resulting vast and noisy problem space hinders optimization, particularly for models with limited capacity. To address this, we propose a new framework that decouples understanding from reasoning by mapping natural language problems into a canonical problem space-a semantically simplified yet expressive domain. This enables SLMs to focus on reasoning over standardized inputs, free from linguistic variability. Within this framework, we introduce DURIT (Decoupled Understanding from Reasoning via Iterative Training), a three-step algorithm that iteratively: (1) mapping natural language problems via reinforcement learning, (2) aligns reasoning trajectories through self-distillation, and (3) trains reasoning policies in the problem space. The mapper and reasoner are co-trained in an alternating loop throughout this process. Experiments show that DURIT substantially improves SLMs' performance on both in-domain and out-of-domain mathematical and logical reasoning tasks. Beyond improving reasoning capabilities, DURIT also improves the robustness of reasoning, validating decoupling understanding from reasoning as an effective strategy for strengthening SLMs.