RIPPLE: Recovery Internalization through Process-Level Policy Learning and Effect-Aware Credit for Long-Horizon Agentic Coding
作者: Jingxuan Xu, Zihang Xu, Yuechen Luo, Ziqi Miao, Wenqiang Zhu, Weihao Li, Junhao Fan, Xinshun Feng, Zhiyi Lai, Yanan Wu, Haoyang Huang, Ken Deng
分类: cs.AI
发布日期: 2026-10-22
💡 一句话要点
提出RIPPLE框架以解决长时间编码代理的恢复问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 长时间编码 自我恢复 过程级指导 强化学习 软件工程
📋 核心要点
- 现有方法在长时间编码代理中存在批评与行动之间的交接差距，导致代理无法有效恢复。
- RIPPLE框架通过过程级指导内化，利用轻量级蒸馏和强化学习实现自我恢复策略。
- 在四个软件工程基准测试中，RIPPLE显著提高了基线策略的性能，平均提升4.8分。
📝 摘要（中文）
长时间编码代理在观察到失败后，能够生成合理的批评，但仍然沿着错误的轨迹继续前进。我们称之为批评到行动的交接差距。本文提出RIPPLE，一个以恢复为导向的训练框架，将过程级指导内化为单一的自我恢复策略。通过轻量级蒸馏，强化学习为反思触发、诊断和纠正行动分配阶段特定的信用。实验结果表明，RIPPLE在四个软件工程基准测试中，平均提高了4.8分，且在部署时无需辅助批评。
🔬 方法详解
问题定义：本文旨在解决长时间编码代理在面对失败时的恢复能力不足，现有方法无法有效处理批评与行动之间的衔接问题。
核心思路：RIPPLE框架通过内化过程级指导，利用轻量级蒸馏和强化学习来实现自我恢复，确保代理能够在失败后进行有效的反思和纠正。
技术框架：RIPPLE的整体架构包括一个前缀教师提供的证据基础恢复监督，强化学习阶段分配特定信用，以及局部有效性信号用于引导轨迹优势。
关键创新：RIPPLE的主要创新在于其过程级指导的内化和阶段特定信用的分配，这与现有方法的单一反馈机制形成了鲜明对比。
关键设计：在设计中，采用了轻量级蒸馏技术，强化学习的损失函数针对反思、诊断和纠正行动进行了优化，确保中间恢复决策不随意继承终端结果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，RIPPLE在四个软件工程基准测试中，平均提高了4.8分，且在部署时无需辅助批评。控制性消融实验进一步验证了局部、阶段对齐信用的优势，表明批评语义对后续纠正的影响显著。
🎯 应用场景
RIPPLE框架具有广泛的应用潜力，特别是在软件工程、自动化测试和智能代理领域。通过提高长时间编码代理的恢复能力，能够显著提升系统的鲁棒性和用户体验，未来可能在更多复杂系统中得到应用。
📄 摘要（原文）
Long-horizon coding agents can observe a failure and generate a plausible critique yet continue along the same incorrect trajectory. We call this the Critique-to-Action Handoff Gap. We introduce RIPPLE, a recovery-oriented training framework that internalizes process-level guidance into a single self-recovering policy. A prefix-only teacher provides evidence-grounded recovery supervision without access to future actions or terminal outcomes. After lightweight distillation, reinforcement learning assigns stage-specific credit to reflection triggering, diagnosis, and corrective action. Local validity signals gate trajectory advantages so that intermediate recovery decisions do not indiscriminately inherit terminal outcomes. Across four repository-level software-engineering benchmarks, RIPPLE improves the base policy by an arithmetic mean of 4.8 score points, with no auxiliary critic at deployment. Controlled ablations isolate the benefits of local, stage-aligned credit, and matched-prefix interventions show that critique semantics affect subsequent correction. Recovery gains concentrate where the prefix contains sufficient diagnostic evidence and the repository state remains reversible within the remaining budget.