FLEET: From Logits Entropy to Enhanced Trajectories in Text Generation

📄 arXiv: 2609.27657v1 📥 PDF

作者: Oleksii Streltsov, Oleksandra Vitko

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-09-23

备注: 25 pages, 8 figures. Algorithm source code and experiments: https://github.com/Alexiush/fleet

💡 一句话要点

提出FLEET以解决LLM生成过程中的重复性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 文本生成 记忆机制 熵计算 效用评分 生成优化 自然语言处理

📋 核心要点

  1. 现有方法在生成过程中缺乏记忆机制，导致生成的答案重复性高，效果递减。
  2. FLEET通过引入记忆机制，将生成过程视为稀疏轨迹，利用熵阈值来优化生成效果。
  3. 实验结果显示，FLEET在复杂任务上准确率从59.9%提升至66.2%，且速度提升3倍。

📝 摘要（中文）

基于大型语言模型（LLMs）的解决方案通常依赖温度采样来提高准确性和稳定性，但这种无记忆的方法存在固有的不足。由于缺乏对先前生成内容及其评估的意识，随着样本数量的增加，生成的语义重复答案比例也随之上升，导致收益递减。为了解决这一限制，本文提出了FLEET，一种将记忆机制集成到生成过程中的新方法。FLEET将每次生成表示为通过熵超过预定义阈值的稀疏轨迹，并利用这些轨迹推断每个token的效用分数以调整logits。基准评估表明，FLEET在相同预算下实现了与重复采样基线相同的准确性，并且速度提升了3倍，在复杂编码任务上显著提高了准确率。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在文本生成中因缺乏记忆机制而导致的语义重复问题。现有的温度采样方法无法有效利用先前生成的信息，导致生成内容的多样性降低。

核心思路：FLEET的核心思想是将生成过程视为通过状态的稀疏轨迹，并引入记忆机制以提高生成的多样性和准确性。通过对每个生成token的效用进行评分，FLEET能够更好地调整logits，从而优化生成结果。

技术框架：FLEET的整体架构包括生成轨迹的构建、熵计算、效用评分推断和logits调整等主要模块。生成过程中，模型会记录每个生成状态的熵，并根据设定的阈值筛选出有效轨迹。

关键创新：FLEET的创新之处在于引入了记忆机制，使得生成过程不再是无记忆的，而是能够利用先前生成的信息来优化后续的生成。这一设计显著提高了生成内容的多样性和准确性。

关键设计：FLEET的关键设计包括设定熵阈值、效用评分的计算方法以及logits的调整策略。这些设计确保了生成过程的高效性和准确性，同时对现有LLM管道的修改要求最小。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FLEET在基准测试中表现出色，与重复采样基线相比，准确率在复杂编码任务上从59.9%提升至66.2%，同时实现了3倍的速度提升。这表明FLEET在保持生成质量的同时，显著提高了生成效率。

🎯 应用场景

FLEET的研究成果在多个领域具有潜在应用价值，尤其是在需要高质量文本生成的场景，如自动编程、对话系统和内容创作等。通过提高生成的多样性和准确性，FLEET能够为用户提供更为丰富和精准的文本输出，推动自然语言处理技术的进一步发展。

📄 摘要（原文）

Solutions based on large language models (LLMs) often rely on temperature sampling to improve accuracy and stability by aggregating multiple samples from the completion distribution. However, this memoryless approach is inherently suboptimal: because it lacks awareness of prior generations and their evaluations, it produces an increasing proportion of semantically duplicate answers as more samples are drawn, leading to diminishing returns. To address this limitation, we introduce FLEET, a novel method that integrates a memory mechanism into the generation process. FLEET represents each generation as a sparse trajectory through states whose entropy exceeds a predefined threshold and uses these trajectories to infer per-token utility scores that adjust the logits. Benchmark evaluations demonstrate that FLEET achieves the same accuracy as the repeated sampling baseline, with a 3x speedup, and substantially improves accuracy on complex coding tasks (LiveCodeBench Pass@32 increases from 59.9% to 66.2%) under the same budget. Furthermore, in the greedy-decoding configuration evaluated here, the approach is deterministic and uses a single calibration pass to derive its principal hyperparameters, requiring only minimal modifications to existing LLM pipelines.