Exact Feedback Is Not Control: Evaluating Text-based Closed-Loop Revision in LLMs
作者: Haitong Jiang, Chunlin Liu, Yile Wang, Yuhong Feng
分类: cs.CL
发布日期: 2026-09-23
备注: 35 pages, 18 figures, 25 tables, including appendices
🔗 代码/项目: GITHUB
💡 一句话要点
提出固定预算修订协议以评估LLM中的闭环修订问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 闭环修订 大型语言模型 反馈机制 模型评估 自然语言处理
📋 核心要点
- 现有的闭环修订方法在反馈的完整性和有效性上存在不足，导致修订失败。
- 本文提出了一种固定预算的修订协议，通过确定性验证器来评估模型的修订行为。
- 实验结果显示，模型对精确反馈的响应具有显著差异，且成功率在不同模型间差异较大。
📝 摘要（中文）
闭环修订在大型语言模型（LLM）应用中日益普遍，但其失败可能反映出反馈不完整或对反馈的响应不有效。本文提出了一种固定预算修订协议，利用确定性验证器报告所有剩余的违反情况。通过对19个开源和闭源模型的实验，发现控制层的最终成功率从17.4%到99.8%不等，且在相同初始草稿下模型间存在显著差异。实验表明，模型对精确反馈的响应具有可重复性，而后训练和规模的变化并未一致地改善修订效果。尽管精确反馈使修订错误可观察，但并未使闭环变得可靠。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在闭环修订中对反馈的响应不可靠的问题。现有方法常常面临反馈不完整或反馈响应无效的挑战。
核心思路：提出一种固定预算的修订协议，利用确定性验证器来报告所有违反情况，从而隔离模型的修订行为。这样设计的目的是为了更好地评估模型在接收反馈后的修订能力。
技术框架：整体架构包括反馈收集、验证器评估和模型修订三个主要模块。首先收集反馈，然后通过验证器检查模型输出的合规性，最后根据反馈进行修订。
关键创新：最重要的创新在于引入了固定预算的修订协议和确定性验证器，这与现有方法的随机性和不确定性形成鲜明对比。
关键设计：在实验中，设置了不同的约束条件（如精确长度、词汇和组合约束），并通过控制实验来分析模型的响应特性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在19个模型中，控制层的最终成功率从17.4%到99.8%不等，表明模型对精确反馈的响应存在显著差异。此外，去除早期对话的干预措施能够改变重复输出的情况，但并未可靠地提高最终成功率。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和自动文本生成等。通过改进模型对反馈的响应能力，可以提升这些应用的准确性和可靠性，进而推动智能助手和自动化内容生成的实际价值。
📄 摘要（原文）
Closed-loop revision is increasingly used in large language model (LLM) applications, but failures may reflect incomplete feedback or ineffective responses to correct feedback. We introduce a fixed-budget revision protocol with deterministic verifiers that report all remaining violations across exact-length, lexical, and compositional constraints. Fixing feedback correctness and completeness isolates model-side revision behavior. Across 19 open- and closed-source models, controller-level mean final joint success ranges from 17.4% to 99.8%, with substantial cross-model gaps persisting under identical initial drafts. Controlled experiments reveal reproducible model-specific responses to exact feedback. Post-training and scale reshape these responses without consistently bringing them closer to exact correction. Across all constraint families, failed trajectories often repeat earlier outputs, and prior recurrence is associated with lower subsequent recoverability. Matched-state interventions show that removing earlier dialogue while holding the current draft and feedback fixed changes recurrence escape without reliably improving final success; effects depend on the model, task, and trigger-state composition. Exact feedback makes revision errors observable, but does not make the closed loop reliable. Code and reproduction instructions: https://github.com/kevinjiang0121-cyber/exact-feedback-code.