Rationale Distribution Distillation via Flow Matching for Distributional Continuous Latent Reasoning
作者: Mingyeong Kim, Gyusang Cho, Juho Lee, Giung Nam
分类: cs.CL, cs.AI
发布日期: 2026-10-14
💡 一句话要点
提出基于流匹配的蒸馏方法以提升连续潜在推理能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 推理分布蒸馏 连续潜在推理 流匹配 多样性探索 高级数学任务
📋 核心要点
- 现有方法在推理过程中往往依赖单一推理链，导致答案覆盖不足和多样性探索受限。
- 本文提出推理分布蒸馏（RDD），通过多个推理路径的蒸馏训练条件流，提升潜在推理的多样性。
- 实验结果表明，所提方法在高级数学任务上显著提高了答案覆盖率，优于传统的点值潜在推理方法。
📝 摘要（中文）
从语言模型中采样多个推理链可以揭示单次尝试遗漏的正确解决方案。然而，这些推理通常较长，导致重复自回归生成的成本较高。连续潜在推理提供了一种紧凑的替代方案，但点值方法在重复答案采样时仅依赖单一推理，限制了多样路径的探索和答案覆盖。因此，本文提出了推理分布蒸馏（RDD），通过从多个文本推理路径中蒸馏，训练固定长度潜在序列上的条件流。此外，通过查询内混合，扩展蒸馏目标，插值相同查询的完整潜在推理。该流非自回归地生成整个潜在序列，而冻结的语言模型则自回归地从采样的推理上下文中解码答案。实验证明，所提出的分布式推理器在高级数学任务上实现了比评估的点值潜在推理基线更高的答案覆盖率。
🔬 方法详解
问题定义：本文旨在解决现有潜在推理方法中，单一推理链导致的答案覆盖不足和多样性探索受限的问题。现有的点值方法在重复答案采样时仅依赖单一推理，限制了探索的广度。
核心思路：论文提出的推理分布蒸馏（RDD）方法，通过从多个文本推理路径中蒸馏，训练一个条件流，以生成固定长度的潜在序列，从而提升推理的多样性和覆盖率。
技术框架：整体架构包括两个主要模块：首先，通过蒸馏多个推理路径来训练条件流；其次，使用冻结的语言模型自回归地从采样的推理上下文中解码答案。通过查询内混合技术，进一步扩展了蒸馏目标。
关键创新：最重要的创新点在于引入了推理分布蒸馏（RDD）方法，允许在潜在推理中同时考虑多个推理路径，从而显著提高了答案的多样性和覆盖率。这与传统的点值方法形成了鲜明对比。
关键设计：在技术细节上，论文设计了固定长度的潜在序列，并采用了特定的损失函数来优化蒸馏过程。流的生成是非自回归的，而答案的解码则依赖于冻结的语言模型，确保了生成效率与质量的平衡。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的分布式推理器在高级数学任务上实现了比传统点值潜在推理基线高出显著的答案覆盖率，具体提升幅度未知，表明该方法在复杂推理场景中的有效性。
🎯 应用场景
该研究的潜在应用领域包括教育、自动化推理系统和智能问答等。通过提升推理的多样性和覆盖率，能够更好地支持复杂问题的解决，尤其是在数学和逻辑推理等领域，具有重要的实际价值和未来影响。
📄 摘要（原文）
Sampling multiple chain-of-thought rationales from a language model can uncover correct solutions missed by a single attempt. However, these rationales are typically lengthy, making repeated autoregressive generation costly. Continuous latent reasoning offers a compact alternative, but point-valued methods condition repeated answer sampling on a single rationale, which can limit exploration of diverse paths and answer coverage. We thus propose rationale distribution distillation (RDD), training a conditional flow over fixed-length latent sequences by distilling from multiple textual reasoning paths. Furthermore, we expand the distillation targets through within-query mixup, interpolating between complete latent rationales for the same query. The flow nonautoregressively generates the entire latent sequence, and a frozen language model autoregressively decodes answers from sampled rationale contexts. Empirically, the resulting distributional reasoner achieves higher answer coverage than the evaluated point-valued latent reasoning baselines, particularly on advanced mathematical tasks.