SLAT: Segment-Level Adaptive Trimming for Efficient CoT Reasoning

📄 arXiv: 2605.30832v1 📥 PDF

作者: Jian Yao, Xiongcai Luo, Ran Cheng, Kay Chen Tan

分类: cs.AI

发布日期: 2026-05-29

💡 一句话要点

提出SLAT：一种分段自适应修剪方法，用于提升CoT推理效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 思维链推理 大型语言模型 强化学习 效率优化 分段自适应修剪 模型压缩 计算效率

📋 核心要点

  1. 现有CoT推理模型存在“过度思考”问题，导致计算冗余，且token统一长度惩罚策略无法有效区分有用和冗余信息。
  2. 论文提出SLAT框架，通过强化学习选择性地抑制低效片段，依据正确性-长度权衡目标进行片段次优性评估。
  3. 实验表明，SLAT在保持竞争力的准确性下，能将推理长度减少50%，实现了更好的准确性-效率平衡。

📝 摘要（中文）

大型推理模型通过强化学习显著提升了思维链（CoT）能力。然而，生成的推理链经常出现结构冗余（即“过度思考”），导致计算开销增加，而答案的正确性却没有提高。现有的缓解策略通常依赖于token统一长度惩罚，这种方法对所有片段施加粗略的、与片段无关的缩短压力，可能在抑制冗余的同时意外地抑制有用的推理。为了解决这个问题，我们证明了低边际效用的高概率片段集中了低效率。我们推导了正确性-长度权衡目标下片段次优性的理论特征，并提出了 extsc{SLAT}（Segment-Level Adaptive Trimming），这是一个强化学习框架，它基于此标准选择性地抑制冗余片段。在标准基准上的实验结果表明， extsc{SLAT}建立了卓越的准确性-效率帕累托前沿，相对于未压缩的基线，推理长度减少了50％，同时保持了具有竞争力的准确性。总而言之，我们的结果表明，理论上合理的、分段感知的修剪是大型语言模型中高效CoT推理的一个有希望的方向。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在进行思维链（CoT）推理时产生的冗余计算问题。现有的方法，如token统一长度惩罚，无法区分推理链中重要的和不重要的部分，容易在减少计算量的同时也损失推理的准确性。这种粗粒度的处理方式导致了效率提升的瓶颈。

核心思路：论文的核心思想是识别并去除推理链中边际效用低的片段。作者观察到，模型倾向于在高概率的片段上花费过多的计算资源，而这些片段对最终答案的贡献很小。因此，通过有选择性地修剪这些冗余片段，可以在不显著降低准确性的前提下，大幅提高推理效率。

技术框架：SLAT（Segment-Level Adaptive Trimming）是一个基于强化学习的框架。它包含以下主要步骤：1) 使用大型语言模型生成CoT推理链；2) 将推理链分割成多个片段；3) 使用强化学习策略，根据片段的边际效用，决定是否保留或修剪该片段；4) 根据修剪后的推理链得到最终答案，并计算奖励信号（例如，答案的正确性）；5) 使用奖励信号更新强化学习策略，使其能够更准确地识别和修剪冗余片段。

关键创新：SLAT的关键创新在于其分段自适应修剪策略。与现有的token统一长度惩罚方法不同，SLAT能够根据每个片段的具体内容和对最终答案的贡献，动态地决定是否进行修剪。这种细粒度的控制使得SLAT能够在减少计算量的同时，最大限度地保留有用的推理信息。此外，论文还提出了片段次优性的理论特征，为修剪策略提供了理论依据。

关键设计：SLAT的关键设计包括：1) 如何定义片段的边际效用，这直接影响了修剪策略的有效性；2) 如何设计强化学习的奖励函数，以鼓励模型生成更简洁、更准确的推理链；3) 如何选择合适的强化学习算法，以有效地训练修剪策略。论文中使用了特定的奖励函数，例如基于答案正确性的奖励，以及对推理链长度的惩罚。具体的强化学习算法选择在论文中可能有所提及，但此处未详细说明。

📊 实验亮点

实验结果表明，SLAT在多个标准基准测试中取得了显著的性能提升。相对于未压缩的基线模型，SLAT能够将推理长度减少50%，同时保持了具有竞争力的准确性。这意味着SLAT在准确性和效率之间取得了更好的平衡，建立了卓越的准确性-效率帕累托前沿。这些结果表明，分段感知的修剪是提高CoT推理效率的有效方法。

🎯 应用场景

SLAT技术可应用于各种需要高效推理的大型语言模型应用场景，例如问答系统、对话机器人、文本摘要等。通过减少推理所需的计算资源，SLAT可以降低部署成本，提高响应速度，并使得大型语言模型能够在资源受限的设备上运行。此外，该技术还有助于提高模型的鲁棒性，减少“过度思考”带来的潜在错误。

📄 摘要（原文）

Recent advances in Large Reasoning Models have significantly improved chain-of-thought (CoT) capabilities via reinforcement learning (RL). However, generated reasoning chains frequently suffer from structural redundancy (i.e., \emph{overthinking}), incurring high computational overhead without improving answer correctness. Existing mitigation strategies typically rely on token-uniform length penalties, which provide coarse, segment-agnostic pressure toward shorter outputs and can inadvertently suppress useful reasoning alongside redundancy. To address this, we demonstrate that inefficiency concentrates in high-probability segments with low marginal utility. We derive a theoretical characterization of segment suboptimality under the correctness-length trade-off objective and propose \textsc{SLAT} (Segment-Level Adaptive Trimming), an RL framework that selectively suppresses redundant segments based on this criterion. Empirical results on standard benchmarks indicate that \textsc{SLAT} establishes a superior accuracy-efficiency Pareto frontier, reducing reasoning length by $50\%$ relative to uncompressed baselines while maintaining competitive accuracy. Overall, our results suggest that theoretically grounded, segment-aware trimming is a promising direction for efficient CoT reasoning in large language models.