Verify, Repair, Repeat, or Stop? Robust Stopping for Noisy Verify-Repair Loops in LLM Agents

📄 arXiv: 2607.17641v1 📥 PDF

作者: Yitao Wu, Si Shen, Rui Yang, Hong Peng, Bin Hu

分类: cs.AI, cs.SE

发布日期: 2026-07-20

备注: 18 pages, 10 figures, 10 tables. Under review

💡 一句话要点

提出VRR-Stop框架以解决LLM代理中的噪声验证-修复循环问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 验证-修复循环 大型语言模型 噪声鲁棒性 决策机制 信念过滤 自动化工具使用 代码生成

📋 核心要点

  1. 现有的验证-修复循环方法在处理噪声时容易导致错误的修复决策，影响最终结果的有效性。
  2. 本文提出的VRR-Stop框架通过四参数噪声模型和信念过滤技术，提供了一种新的停止修复的决策机制。
  3. 在GSM8K压力测试中，VRR-Stop显著提高了最终真实有效性，且平均修复轮次仅为0.72轮，表现出更高的效率。

📝 摘要（中文）

验证-修复循环是大型语言模型（LLM）代理在代码生成、数学推理和工具使用中纠正错误计划的标准方法。然而，当验证者和修复者都存在噪声时，修复可能会损坏已经正确的计划，导致接受率上升而真实有效性下降。因此，现有方法缺乏原则性依据来决定何时停止修复。本文提出了VRR-Stop，一个针对噪声验证-修复-重复（VRR）循环的稳健停止框架。该框架通过四参数噪声模型将验证者的错误接受与错误拒绝行为与修复者的修复与损坏行为分开。信念过滤将重复验证投票转化为有效性的估计，循环根据真实边际增益的符号进行修复或承诺。实验结果表明，VRR-Stop在GSM8K压力测试中比固定五轮修复提高了60.6个百分点的最终真实有效性。

🔬 方法详解

问题定义：本文解决的问题是如何在噪声环境下有效管理验证-修复循环的停止时机。现有方法在噪声影响下，容易导致错误的修复决策，进而影响最终结果的有效性。

核心思路：论文提出的VRR-Stop框架通过引入四参数噪声模型，将验证者的错误接受与错误拒绝行为与修复者的修复与损坏行为分开，从而实现更为精准的修复决策。

技术框架：整体架构包括验证、修复和停止三个主要模块。首先，通过信念过滤技术将多次验证投票转化为有效性的估计；然后，根据真实边际增益的符号决定是否进行修复或承诺；最后，结合VRR-Guard作为估计无关的后备机制，确保在验证边际足够时才替换候选者。

关键创新：最重要的创新点在于引入了四参数噪声模型和信念过滤技术，使得在噪声环境下能够更准确地判断修复的必要性，与现有方法相比，减少了错误修复的风险。

关键设计：关键参数设置包括验证者的判别能力和决策边际，而损失函数则侧重于真实有效性的最大化。网络结构设计上，强调了对噪声的鲁棒性，确保在不同噪声水平下均能有效工作。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，VRR-Stop在GSM8K压力测试中比固定五轮修复提高了60.6个百分点的最终真实有效性，且平均修复轮次仅为0.72轮，展现出显著的效率提升和可靠性。

🎯 应用场景

该研究的潜在应用领域包括代码生成、自动化工具使用和复杂数学推理等场景，能够有效提高系统在噪声环境下的决策能力。未来，VRR-Stop框架有望被广泛应用于各种需要高可靠性的智能代理系统中，提升其整体性能和用户体验。

📄 摘要（原文）

Verify-repair loops are a standard means for large language model (LLM) agents to correct faulty plans in code generation, mathematical reasoning, and tool use. When both the verifier and the repairer are noisy, repair can damage already-correct plans, and reported acceptance keeps rising while true validity falls, so existing methods lack a principled basis for deciding when repair should stop. We propose VRR-Stop, a robust stopping framework for noisy verify-repair-repeat (VRR) loops. A four-parameter noise model separates verifier false acceptance and false rejection from the repair and damage behavior of the repairer. Belief filtering turns repeated verification votes into an estimate of committed validity, and the loop commits or repairs according to the sign of the true marginal gain, which requires only sign identifiability rather than accurate recovery of all parameters. When verifier discrimination approaches zero, calibration itself fails and estimation error can flip the stopping sign, so we pair VRR-Stop with VRR-Guard, an estimation-free fallback that replaces the incumbent candidate only under a sufficient verification margin. On a GSM8K stress setting, VRR-Stop improves final true validity by 60.6 percentage points over fixed five-round repair at an average cost of 0.72 repair rounds. Across settings, stopping reliability is governed jointly by verifier discrimination and the decision margin rather than by the absolute size of estimation error.