Sep-Latent: Separator Tokens as Natural Compression Anchors for Implicit Reasoning

📄 arXiv: 2610.22924v1 📥 PDF

作者: Yinlong Xu, Jianfeng Huang, Zhengdong Zhou, Mingjie Lin, Fuyu Lv, Dan Ou, Hongxia Xu, Jian Wu

分类: cs.AI, cs.CL

发布日期: 2026-10-16

💡 一句话要点

提出Sep-Latent以解决隐式推理中的表示崩溃问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐式推理 分隔符令牌 注意力机制 多层蒸馏 自然语言处理

📋 核心要点

  1. 现有隐式推理方法如Coconut和CODI依赖固定长度潜在序列，导致表示崩溃和效率低下。
  2. Sep-Latent框架通过分隔符令牌作为语义锚点，结合注意力衰减机制，增强了隐式推理的灵活性和有效性。
  3. 在GSM8k-Aug基准上，Sep-Latent以56.8%的准确率和5.4个令牌的平均使用量，显著提高了效率并缩小了与显式推理的差距。

📝 摘要（中文）

大型语言模型（LLMs）在复杂推理中取得了显著成功，但显式思维链（CoT）带来的计算开销和令牌冗长仍然是效率的重大障碍。隐式推理在连续潜在空间中提供了有前景的替代方案，但现有方法如Coconut和CODI往往依赖固定长度的潜在序列，导致表示崩溃。本文提出了Sep-Latent，一种自适应隐式推理框架，利用分隔符令牌作为结构语义锚点。通过引入注意力衰减机制，强制模型在训练过程中将推理逻辑聚合并压缩到这些锚点中。实验结果表明，Sep-Latent在GSM8k-Aug基准上实现了56.8%的准确率，平均仅使用5.4个令牌，显著超越了先前的固定长度隐式模型，同时缩小了与显式CoT的性能差距。

🔬 方法详解

问题定义：本文旨在解决现有隐式推理方法在固定长度潜在序列下的表示崩溃问题，导致推理效率低下和逻辑一致性不足。

核心思路：提出Sep-Latent框架，通过引入分隔符令牌作为结构语义锚点，并结合注意力衰减机制，促使模型在训练中有效聚合推理逻辑。

技术框架：整体架构包括分隔符令牌的引入、注意力衰减机制的应用，以及多层蒸馏对显式和隐式路径的对齐，确保逻辑一致性。

关键创新：Sep-Latent的主要创新在于使用分隔符令牌作为动态推理深度的锚点，允许模型根据查询复杂性自适应终止潜在思维阶段，显著提升了推理效率。

关键设计：在模型训练中，设置了注意力衰减机制的参数，以优化推理逻辑的聚合，同时设计了多层蒸馏过程，确保显式与隐式推理路径的逻辑一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Sep-Latent在GSM8k-Aug基准上达到了56.8%的准确率，平均仅使用5.4个令牌，显著优于之前的固定长度隐式模型，缩小了与显式思维链的性能差距，展现出更高的推理效率和逻辑一致性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和自动推理等。通过提高隐式推理的效率和准确性，Sep-Latent可以在需要快速响应和高效计算的场景中发挥重要作用，推动智能系统的进一步发展。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated remarkable success in complex reasoning through explicit Chain-of-Thought (CoT), but the associated computational overhead and token verbosity remain significant barriers to efficiency. While implicit reasoning in continuous latent spaces offers a promising alternative, existing methods like Coconut and CODI often rely on fixed-length latent sequences and suffer from representational collapse. In this paper, we propose Sep-Latent, an adaptive implicit reasoning framework that utilizes separator tokens as structural semantic anchors. By introducing an Attention-Decay mechanism, we force the model to aggregate and compress reasoning logic into these anchors during training. We then align explicit and implicit pathways through multi-level distillation across all layers to ensure logical consistency. Crucially, Sep-Latent enables dynamic reasoning depth by adaptively terminating the latent thinking phase based on query complexity. Experimental results on the GSM8k-Aug benchmark show that Sep-Latent achieves an accuracy of 56.8\% with an average of only 5.4 tokens, significantly outperforming prior fixed-length implicit models in efficiency while narrowing the performance gap with explicit CoT. Further analysis via PCA and symbolic variant testing confirms that our method ensures semantic grounding and exhibits superior robustness to perturbations.