AdaptEvo: Adaptive Agent Learning with Evolving Supervision

📄 arXiv: 2610.11354v1 📥 PDF

作者: Shijun Wan, Jiancong Xie, Hang Xu, Jin Duan, Qixiong Wang, Xi Xiang, Maofei Que, Yahui Liu, Zhongyu Wei, Mu Chuan

分类: cs.CL

发布日期: 2026-10-08

备注: 21 pages, 4 figures

💡 一句话要点

提出AdaptEvo框架以解决不完美监督下的决策问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自适应学习 不完美监督 决策优化 多模态内容审核 信心自适应 演变知识 过程评估

📋 核心要点

  1. 现有方法在规则驱动的决策任务中面临不完美监督的问题，导致决策指导和过程评估存在空白。
  2. AdaptEvo框架通过信心自适应策略优化和演变的决策知识来解决不完美监督下的学习问题。
  3. 在实验中，AdaptEvo在In-Period和Out-of-Period测试集上均表现优异，超越了基线GRPO模型。

📝 摘要（中文）

在规则驱动的上下文决策任务中，模型需要将特定规则应用于具体情境和证据。然而，书面规则可能在决策指导和过程评估中存在空白，而参考判断的支持程度也因规则和证据而异。为了解决这些挑战，本文提出了AdaptEvo框架，该框架结合了信心自适应策略优化和不断演变的决策知识及评估标准。其训练模块使用信心自适应GRPO（CA-GRPO）根据参考信心平衡结果和过程奖励。进化模块则从训练案例中的重复失败中综合可重用的决策知识，并细化过程标准以检测被忽视的错误。通过构建一个工业多模态内容审核数据集，AdaptEvo在In-Period测试集上实现了61.9%的精确标签准确率，超过GRPO 7.5个百分点。

🔬 方法详解

问题定义：本文旨在解决在规则驱动的上下文决策任务中，由于不完美监督导致的决策指导和过程评估的不足。现有方法在处理复杂决策时，往往无法有效应对规则与证据之间的差异。

核心思路：AdaptEvo框架的核心思想是结合信心自适应策略优化与不断演变的决策知识，以提高模型在不完美监督下的学习能力。通过动态调整奖励机制，模型能够更好地适应不同的决策情境。

技术框架：AdaptEvo的整体架构分为训练模块和进化模块。训练模块采用信心自适应GRPO（CA-GRPO），通过平衡结果和过程奖励来优化策略；进化模块则从训练中的失败案例中提取可重用的决策知识，并更新评估标准。

关键创新：AdaptEvo的主要创新在于引入了信心自适应机制，使得模型能够根据参考信心动态调整学习策略。这一设计使得模型在面对不完美监督时，能够更有效地进行决策。

关键设计：在CA-GRPO中，模型的奖励函数根据参考信心进行调整，确保在不同的决策情境下，模型能够获得适当的反馈。此外，进化模块的设计允许模型在训练过程中不断更新和优化决策知识。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，AdaptEvo在In-Period测试集上达到了61.9%的精确标签准确率和72.2%的二元决策准确率，分别比GRPO提高了7.5和3.7个百分点。在Out-of-Period测试中，CA-GRPO保持了相较于基线模型的准确率优势，显示出其在动态环境下的稳定性。

🎯 应用场景

AdaptEvo框架在多模态内容审核、智能决策支持系统等领域具有广泛的应用潜力。通过提高模型在不完美监督下的学习能力，能够有效提升决策质量和效率，进而推动相关行业的智能化发展。

📄 摘要（原文）

Rule-governed contextual decision tasks require models to apply specified rules to case-specific context and evidence. Written rules can leave gaps in decision guidance and process evaluation, while reference judgments vary in their support from the rules and evidence. To address these challenges, we introduce AdaptEvo, a framework for learning under imperfect supervision that couples confidence-adaptive policy optimization with evolving decision knowledge and evaluation rubrics. Its Training module uses Confidence-Adaptive GRPO (CA-GRPO) to balance outcome and process rewards according to reference confidence. Its Evolution module synthesizes reusable decision knowledge from recurring failures across training cases and refines process rubrics to detect overlooked errors. To support empirical evaluation, we construct an industrial multimodal content moderation dataset comprising a training set and In-Period and Out-of-Period test sets, with the latter collected under changed rules. Using Qwen3.6-35B-A3B, AdaptEvo achieves 61.9% exact-label accuracy and 72.2% binary decision accuracy on In-Period, exceeding GRPO by 7.5 and 3.7 percentage points, respectively. On Out-of-Period, the policy trained with CA-GRPO retains exact-label accuracy gains over the base model across evaluated checkpoints without injected decision knowledge, while GRPO declines with continued training. CA-GRPO also outperforms the tested fixed reward mixtures on both Out-of-Period metrics.