Reliable Self-Evolution with Imperfect Proxy Rewards

📄 arXiv: 2610.02975v1 📥 PDF

作者: Kangjun Noh, Soyu Kim, Kyungwoo Song

分类: cs.AI

发布日期: 2026-10-02

备注: Preprint

🔗 代码/项目: GITHUB

💡 一句话要点

提出CISE以解决不完美代理奖励下的自我进化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自我进化搜索 代理奖励 条件符合推断 材料科学 高保真评估 虚假正例 统计校准

📋 核心要点

  1. 现有自我进化搜索方法依赖于不完美的代理奖励，可能导致高分候选者为不可行解，从而影响最终结果。
  2. 本文提出CISE，通过构建候选者特定的奖励间隔，利用条件符合推断和在线密度比估计来提高自我进化搜索的可靠性。
  3. 实验结果显示，CISE返回的候选者均为真实正例，相较于基线方法，减少了虚假正例的数量，提升了搜索的精确性。

📝 摘要（中文）

基于大型语言模型的自我进化搜索在科学发现中展现出良好前景。然而，在某些领域，全面评估每个候选者的成本过高，因此自我进化系统依赖于低成本但不完美的代理奖励，这可能会给不可行的候选者分配高分，从而污染最终输出及后续生成的反馈。为此，本文提出了符合间隔驱动的自我进化方法（CISE），通过条件符合推断和迭代在线密度比估计构建候选者特定的奖励间隔。CISE采用保守的基于间隔的奖励进行进化反馈，仅在所有必要属性间隔完全位于各自可行区域内时返回候选者。实验表明，CISE返回的所有候选者在高保真评估下均为真实正例，显示出在有限的下游验证预算下，较小且更精确的候选列表的价值。

🔬 方法详解

问题定义：本文旨在解决在高成本评估环境下，自我进化搜索中由于依赖不完美代理奖励而导致的虚假正例问题。现有方法在评估候选者时，可能会因低成本奖励而产生误导性结果。

核心思路：CISE的核心思路是通过构建候选者特定的奖励间隔，利用条件符合推断来提高奖励的可靠性，从而避免虚假正例的干扰。该设计旨在确保只有在所有必要属性间隔完全位于可行区域内时，才返回候选者。

技术框架：CISE的整体架构包括两个主要模块：条件符合推断模块和在线密度比估计模块。前者用于构建候选者的奖励间隔，后者用于动态调整和优化奖励反馈。

关键创新：CISE的主要创新在于引入了保守的间隔奖励机制，通过统计校准的奖励间隔来提高自我进化搜索的可靠性。这一方法与传统的基于单一评分的评估方式有本质区别。

关键设计：在设计中，CISE采用了固定迭代覆盖结果的推导，假设独立性和协变量转移，并在参数设置上进行了优化，以确保奖励间隔的有效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CISE返回的所有候选者均为真实正例，而基线方法虽然返回更多候选者，但包含了虚假正例。这一结果强调了在有限的验证预算下，CISE所提供的更小且更精确的候选列表的价值。

🎯 应用场景

CISE方法在材料科学等领域具有广泛的应用潜力，能够有效支持科学发现和新材料的设计。通过提高自我进化搜索的可靠性，CISE为研究人员提供了更精确的候选者列表，降低了验证成本，促进了高效的科研进程。

📄 摘要（原文）

Large language model (LLM)-based self-evolving search is a promising approach to scientific discovery. However, high-fidelity evaluation of every candidate is prohibitively expensive in some domains. Self-evolving systems in such settings therefore rely on low-cost but imperfect proxy rewards, which may assign high scores to infeasible candidates. These false positives may contaminate both the final output and the feedback used to guide subsequent generations. This motivates statistically calibrated reward intervals for more reliable self-evolving search. We propose Conformal Interval-Driven Self-Evolution (CISE), which constructs candidate-specific reward intervals using conditional conformal inference and iteration-wise online density-ratio estimation. CISE uses conservative interval-based rewards for evolutionary feedback and returns candidates only when all required property intervals lie entirely within their respective feasible regions. We derive fixed-iteration coverage results under explicit assumptions of independence and covariate shift. We evaluate CISE on three self-evolving search tasks in materials science. In our experiments, all candidates returned by CISE are true positives under high-fidelity evaluation, whereas the baselines return more candidates but include false positives. These results highlight the value of a smaller, more precise shortlist when downstream validation budgets are limited. Our repository is available at https://github.com/MLAI-Yonsei/CISE.git.