GEAR: A General Evaluation Framework for Abductive Reasoning

📄 arXiv: 2509.24096v1 📥 PDF

作者: Kaiyu He, Peilin Wu, Mian Zhang, Kun Wan, Wentian Zhao, Xinya Du, Zhiyu Chen

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-09-28

备注: Coda and Data: https://github.com/KaiyuHe998/GEAR-Abduction_evaluation

💡 一句话要点

提出GEAR：通用且无标签的归纳推理评估框架，并用于提升LLM的推理能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 归纳推理 大型语言模型 无监督学习 评估框架 知识发现

📋 核心要点

  1. 现有LLM主要关注指令跟随和演绎推理，缺乏对发现新知识（归纳推理）能力的有效评估。
  2. GEAR通过一致性、泛化性和多样性三个指标，对LLM生成的假设进行无标签评估，无需人工标注。
  3. 实验表明，GEAR能有效区分不同LLM的归纳推理能力，并能指导LLM进行无监督训练，提升推理性能。

📝 摘要（中文）

随着大型语言模型（LLMs）的出现，研究重点已转向指令跟随和演绎推理。但一个核心问题仍然存在：这些模型能否发现新知识？我们又该如何评估这种能力？本文通过研究归纳推理——即生成合理的假设来解释观察结果——来解决这个问题，并提出了GEAR（归纳推理通用评估），这是一种通用的、全自动的、透明的且无标签的评估范式。GEAR通过三个指标对假设集进行评分：一致性（每个假设解释观察结果）、泛化性（一致的假设对未见输入做出有意义的预测）和多样性（该集合涵盖不同的预测和模式）。GEAR具有可扩展性（无需人工标注的黄金答案）、可靠性（确定性评分与经典归纳对齐）和开放性（只有当模型产生新的合理假设时，分数才会提高）。使用GEAR，我们对四个归纳基准上的九个LLM进行了细粒度研究，生成了超过50,000个候选假设，揭示了被黄金答案或纯粹的人工评估所掩盖的模型差异。我们进一步提出了一种基于动量的课程学习方法，该方法通过学习速度来调整GEAR衍生的训练数据：它从模型快速学习的内容开始，并转向更难的目标，例如在模型对基础目标充满信心后生成多样化的假设。在没有黄金标签监督的情况下，这种策略提高了所有GEAR目标，并且这些收益可以转移到已建立的归纳推理基准。总而言之，GEAR提供了一个原则性框架，用于评估归纳并提供无标签、可扩展的训练信号，从而帮助LLM产生更多样化和可靠的假设。

🔬 方法详解

问题定义：现有的大型语言模型（LLMs）在指令跟随和演绎推理方面取得了显著进展，但其发现新知识，即进行归纳推理的能力仍然难以评估。传统的评估方法依赖于人工标注的黄金标准答案，成本高昂且难以扩展。此外，这些静态基准测试容易饱和，无法有效衡量模型生成新颖假设的能力。因此，如何设计一种可扩展、可靠且开放的评估框架，以衡量和提升LLMs的归纳推理能力，是一个亟待解决的问题。

核心思路：GEAR的核心思路是利用归纳推理的内在逻辑，即“解释观察结果”来设计评估指标。它不依赖于预先设定的正确答案，而是通过评估模型生成的假设是否能够一致地解释观察结果、是否具有良好的泛化能力以及是否足够多样化来判断其推理能力。这种设计使得GEAR能够进行无标签评估，从而避免了人工标注的成本和偏差。

技术框架：GEAR的整体框架包含以下几个主要模块：1) 假设生成：利用LLM生成针对给定观察结果的候选假设集合。2) 一致性评估：评估每个假设是否能够解释给定的观察结果。3) 泛化性评估：评估一致的假设是否能够对未见过的输入做出有意义的预测。4) 多样性评估：评估假设集合是否覆盖了不同的预测和模式。5) 综合评分：根据一致性、泛化性和多样性三个指标，对假设集合进行综合评分。此外，论文还提出了一种基于动量的课程学习方法，利用GEAR的评估结果来指导LLM的训练，从而提升其归纳推理能力。

关键创新：GEAR最重要的技术创新在于其无标签的评估范式。与传统的依赖黄金标准答案的评估方法不同，GEAR通过评估假设的内在属性（一致性、泛化性和多样性）来衡量模型的推理能力。这种方法不仅避免了人工标注的成本和偏差，而且能够鼓励模型生成更具创造性和新颖性的假设。此外，基于动量的课程学习方法也为LLM的无监督训练提供了一种有效的策略。

关键设计：在一致性评估方面，论文可能采用了基于逻辑推理或语义相似度的方法来判断假设是否能够解释观察结果。在泛化性评估方面，论文可能采用了交叉验证或领域泛化的技术来评估假设在未见数据上的表现。在多样性评估方面，论文可能采用了基于距离度量或信息论的方法来衡量假设集合的多样性。具体的参数设置、损失函数和网络结构等技术细节在摘要中未详细说明，需要查阅论文全文才能了解。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GEAR框架在四个归纳推理基准上对九个LLM进行了评估，生成了超过50,000个候选假设，揭示了传统评估方法难以发现的模型差异。通过基于动量的课程学习方法，GEAR在没有黄金标签监督的情况下，提高了所有GEAR目标，并且这些收益可以转移到已建立的归纳推理基准。

🎯 应用场景

GEAR框架可应用于多个领域，例如科学发现、故障诊断、安全分析等。通过评估和提升LLM的归纳推理能力，可以帮助研究人员和工程师更有效地从数据中发现新的知识和模式，从而解决复杂的问题。此外，GEAR的无标签评估范式也为LLM的自动化评估和训练提供了一种新的思路。

📄 摘要（原文）

Since the advent of large language models (LLMs), research has focused on instruction following and deductive reasoning. A central question remains: can these models discover new knowledge, and how can we evaluate this ability? We address this by studying abductive reasoning-the generation of plausible hypotheses to explain observations-and introduce GEAR (General Evaluation for Abductive Reasoning), a general-purpose, fully automated, transparent, and label-free evaluation paradigm. GEAR scores hypothesis sets by three metrics: consistency (each hypothesis explains the observations), generalizability (consistent hypotheses make meaningful predictions on unseen inputs), and diversity (the set covers distinct predictions and patterns). Built this way, GEAR is scalable (no human gold answers), reliable (deterministic scoring aligned with classical abduction), and open-ended (scores improve only when models produce new plausible hypotheses, unlike static benchmarks that saturate once accuracy is high). Using GEAR, we conduct a fine-grained study of nine LLMs on four abduction benchmarks with 1,500 problems, generating over 50,000 candidate hypotheses and revealing model differences obscured by gold-answer or purely human evaluations. We further propose a momentum-based curriculum that adjusts GEAR-derived training data by learning velocity: it starts with what the model learns quickly and shifts toward harder objectives such as generating diverse hypotheses once the model is confident on foundational objectives. Without gold-label supervision, this strategy improves all GEAR objectives and these gains transfer to established abductive reasoning benchmarks. Taken together, GEAR provides a principled framework that evaluates abduction and supplies label-free, scalable training signals that help LLMs produce more diverse and reliable hypotheses.