LogitsCoder: Towards Efficient Chain-of-Thought Path Search via Logits Preference Decoding for Code Generation

📄 arXiv: 2602.14054v1 📥 PDF

作者: Jizheng Chen, Weiming Zhang, Xinyi Dai, Weiwen Liu, Kounianhua Du, Yasheng Wang, Ruiming Tang, Yong Yu, Weinan Zhang

分类: cs.CL

发布日期: 2026-02-15

💡 一句话要点

LogitsCoder：通过Logits偏好解码实现高效的代码生成思维链路径搜索

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代码生成 思维链 推理路径搜索 Logits偏好解码 测试时缩放

📋 核心要点

  1. 现有代码生成方法在推理链的深度和效率上存在不足，面临思考不足和过度思考的挑战。
  2. LogitsCoder通过logit级别的控制机制，引导token选择和聚合推理路径，从而增强思维链推理。
  3. 实验表明，LogitsCoder能够生成更高效和更高质量的推理链，显著提升代码生成性能。

📝 摘要（中文）

代码生成是一项具有挑战性的任务，需要精确和结构化的推理。现有的测试时缩放（TTS）方法，包括结构化树搜索，在探索推理路径方面取得了一些进展，但仍然面临两个主要挑战：（1）思考不足，即推理链往往是浅层的，无法捕捉问题的全部复杂性；（2）过度思考，即过于冗长的推理导致效率低下和计算成本增加。为了解决这些问题，我们提出LogitsCoder，这是一个新颖的框架，通过轻量级的logit级别控制机制来增强代码生成的思维链推理。LogitsCoder通过首先使用Logits偏好解码将token选择导向统计上更优的模式，然后使用基于Logits排序的路径选择和思想聚合来选择和聚合不同的推理路径，从而迭代地生成和改进推理步骤。这产生了连贯且有效的推理链，平衡了深度和效率。大量的实验表明，与基线方法相比，LogitsCoder产生更高效和更高质量的推理链，从而带来卓越的代码生成性能。

🔬 方法详解

问题定义：现有代码生成方法，特别是基于思维链（Chain-of-Thought, CoT）的方法，在推理过程中存在“思考不足”和“过度思考”的问题。“思考不足”指的是推理链过短，无法充分挖掘问题的复杂性；“过度思考”指的是推理链过于冗长，导致计算成本增加和效率降低。这些问题限制了代码生成模型的性能和实用性。

核心思路：LogitsCoder的核心思路是通过在logit层面进行精细的控制，引导模型生成更有效率和更高质量的思维链。具体来说，它通过“Logits偏好解码”来鼓励模型选择统计上更优的token模式，避免模型陷入局部最优或生成无意义的token序列。同时，通过“Logits排序路径选择和思想聚合”来选择和整合不同的推理路径，从而平衡推理的深度和广度。

技术框架：LogitsCoder的整体框架包含以下几个主要阶段：1) Logits偏好解码：利用统计信息调整logits分布，引导token选择。2) 推理步骤生成：迭代地生成和改进推理步骤。3) Logits排序路径选择：基于logits对生成的多个推理路径进行排序和选择。4) 思想聚合：将选择的推理路径进行聚合，形成最终的推理链。最终，基于生成的推理链进行代码生成。

关键创新：LogitsCoder的关键创新在于其轻量级的logit级别控制机制。与传统的树搜索方法相比，LogitsCoder不需要维护复杂的树结构，而是直接在logits层面进行操作，从而降低了计算成本和内存占用。此外，LogitsCoder通过Logits偏好解码，能够更有效地引导模型生成高质量的推理链，避免了传统方法中容易出现的探索不足或过度探索的问题。

关键设计：LogitsCoder的关键设计包括：1) Logits偏好解码的实现方式：具体如何利用统计信息调整logits分布，例如使用历史token的频率或互信息等。2) Logits排序路径选择的排序指标：如何基于logits对推理路径进行排序，例如使用路径的平均logits值或最大logits值等。3) 思想聚合的方式：如何将选择的推理路径进行聚合，例如使用加权平均或投票等方法。论文中应该会详细描述这些技术细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LogitsCoder在代码生成任务上取得了显著的性能提升。与基线方法相比，LogitsCoder能够生成更高效和更高质量的推理链，从而显著提高了代码生成的准确率和效率。具体的性能数据和提升幅度需要在论文中查找。

🎯 应用场景

LogitsCoder具有广泛的应用前景，可以应用于各种需要复杂推理的代码生成任务，例如软件开发、自动化测试、以及AI辅助编程等领域。通过提高代码生成效率和质量，LogitsCoder可以显著降低开发成本，提高软件质量，并加速软件创新。未来，该技术有望进一步扩展到其他需要结构化推理的领域，例如自然语言处理、知识图谱推理等。

📄 摘要（原文）

Code generation remains a challenging task that requires precise and structured reasoning. Existing Test Time Scaling (TTS) methods, including structured tree search, have made progress in exploring reasoning paths but still face two major challenges: (1) underthinking, where reasoning chains tend to be shallow and fail to capture the full complexity of problems; and (2) overthinking, where overly verbose reasoning leads to inefficiency and increased computational costs. To address these issues, we propose LogitsCoder, a novel framework that enhances chain-of-thought reasoning through lightweight, logit-level control mechanisms for code generation. LogitsCoder iteratively generates and refines reasoning steps by first steering token selection toward statistically preferred patterns via Logits Preference Decoding, then selecting and aggregating diverse reasoning paths using Logits Rank Based Path Selection and Thoughts Aggregation. This results in coherent and effective reasoning chains that balance depth and efficiency. Extensive experiments demonstrate that LogitsCoder produces more efficient and higher-quality reasoning chains, leading to superior code generation performance compared to baseline methods.