Conversation for Non-verifiable Learning: Self-Evolving LLMs through Meta-Evaluation

📄 arXiv: 2601.21464v1 📥 PDF

作者: Yuan Sui, Bryan Hooi

分类: cs.CL, cs.AI

发布日期: 2026-01-29

备注: Work in Progress

💡 一句话要点

提出CoNL框架，通过元评估自进化LLM，解决非验证性任务训练难题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 自博弈 元评估 非验证性学习 多智能体 奖励函数 LLM-as-Judge

📋 核心要点

  1. 现有LLM在非验证性任务中训练面临缺乏标准答案的挑战，依赖LLM-as-Judge的方法受限于评估器自身质量。
  2. CoNL框架通过多智能体自博弈，利用评论对解决方案改进的贡献来衡量评论质量，实现元评估。
  3. 实验表明，CoNL在多个基准测试中，相较于自奖励基线，实现了性能的稳定提升。

📝 摘要（中文）

由于缺乏标准答案，训练大型语言模型（LLM）来处理非验证性任务（如创意写作、对话和伦理推理）仍然具有挑战性。虽然LLM-as-Judge方法为人工反馈提供了一种可扩展的替代方案，但其性能受到评估器自身质量的限制。如果评估器无法识别好的解决方案，就无法提供有用的训练信号，并且评估偏差（例如，偏爱冗长的内容而非质量）仍然无法解决。这促使我们进行元评估：评估和改进评估器本身的能力。我们引入了CoNL，一个通过多智能体自博弈统一生成、评估和元评估的框架。我们的关键见解是：评论质量可以通过它是否帮助他人改进解决方案来衡量。在CoNL中，多个共享相同策略的智能体进行结构化对话，以提出、评论和修改解决方案。能够改进解决方案的评论会获得诊断奖励，从而为元评估创建显式监督，并通过自博弈实现生成和判断能力的联合优化，而无需外部判断或标准答案。在五个基准测试上的实验表明，CoNL在保持稳定训练的同时，实现了对自奖励基线的一致改进。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在非验证性任务（如创意写作、对话和伦理推理）中训练时，由于缺乏ground-truth标签而导致的训练困难问题。现有方法，如LLM-as-Judge，虽然可以替代人工反馈，但其性能受到评估器自身质量的限制，无法有效识别和奖励高质量的生成结果，并且存在评估偏差（例如，偏爱冗长而非高质量的回答）。

核心思路：论文的核心思路是通过元评估来提升评估器的质量，进而改善LLM在非验证性任务中的训练效果。关键在于，评论的质量可以通过其是否能够帮助其他智能体改进解决方案来衡量。通过奖励那些能够促进解决方案改进的评论，可以有效地训练评估器，使其能够更好地识别和奖励高质量的生成结果。

技术框架：CoNL框架采用多智能体自博弈的方式，统一了生成、评估和元评估过程。框架包含以下主要阶段：1) 提案阶段：多个智能体根据相同的策略提出解决方案。2) 评论阶段：智能体对其他智能体的解决方案进行评论。3) 修订阶段：智能体根据收到的评论修改自己的解决方案。4) 奖励阶段：根据修订后的解决方案的质量提升情况，对提供评论的智能体进行奖励。这个过程循环迭代，不断提升生成和评估能力。

关键创新：CoNL最重要的技术创新点在于引入了基于解决方案改进的诊断奖励机制，用于元评估。与传统的自奖励方法不同，CoNL不直接奖励生成的结果，而是奖励那些能够帮助其他智能体改进结果的评论。这种方式能够更有效地训练评估器，使其能够更好地识别和奖励高质量的生成结果，从而克服了传统自奖励方法的局限性。

关键设计：CoNL的关键设计包括：1) 多智能体架构：多个智能体参与自博弈，提供多样化的解决方案和评论。2) 诊断奖励函数：奖励函数基于解决方案的改进程度，鼓励智能体提供有用的评论。3) 共享策略：所有智能体共享相同的策略，确保训练过程的稳定性和一致性。4) 迭代训练：通过多轮迭代训练，不断提升生成和评估能力。具体的参数设置和网络结构细节在论文中未详细说明，属于未知信息。

📊 实验亮点

实验结果表明，CoNL在五个基准测试中均取得了显著的性能提升，超越了传统的自奖励基线。具体的数据和提升幅度在论文中未明确给出，属于未知信息。但总体而言，CoNL在保持训练稳定性的同时，实现了对生成和评估能力的联合优化。

🎯 应用场景

CoNL框架可应用于各种非验证性任务，如创意写作、对话系统、伦理推理等。通过提升LLM在这些任务中的表现，可以改善人机交互体验，提高内容创作质量，并促进人工智能在伦理道德方面的应用。该研究具有重要的实际价值和深远的未来影响。

📄 摘要（原文）

Training large language models (LLMs) for non-verifiable tasks, such as creative writing, dialogue, and ethical reasoning, remains challenging due to the absence of ground-truth labels. While LLM-as-Judge approaches offer a scalable alternative to human feedback, they face a fundamental limitation: performance is constrained by the evaluator's own quality. If the judge cannot recognize good solutions, it cannot provide useful training signals, and evaluation biases (e.g., favoring verbosity over quality) remain unaddressed. This motivates meta-evaluation: the ability to evaluate and improve the evaluator itself. We introduce CoNL, a framework that unifies generation, evaluation, and meta-evaluation through multi-agent self-play. Our key insight: critique quality can be measured by whether it helps others improve their solutions. In CoNL, multiple agents sharing the same policy engage in structured conversations to propose, critique, and revise solutions. Critiques that enable solution improvements earn a diagnostic reward, creating explicit supervision for meta-evaluation and enabling joint optimization of generation and judging capabilities through self-play, without external judges or ground truth. Experiments on five benchmarks show that CoNL achieves consistent improvements over self-rewarding baselines while maintaining stable training.