GuessArena: Guess Who I Am? A Self-Adaptive Framework for Evaluating LLMs in Domain-Specific Knowledge and Reasoning

📄 arXiv: 2505.22661v1 📥 PDF

作者: Qingchen Yu, Zifan Zheng, Ding Chen, Simin Niu, Bo Tang, Feiyu Xiong, Zhiyu Li

分类: cs.CL

发布日期: 2025-05-28

备注: Accepted by ACL 2025

💡 一句话要点

GuessArena：提出自适应评估框架，用于评估LLM在特定领域知识和推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM评估 领域知识 推理能力 自适应评估 对抗游戏

📋 核心要点

  1. 现有LLM评估依赖静态基准，缺乏对不同领域知识和推理能力的细粒度评估。
  2. GuessArena框架基于对抗游戏交互，动态建模领域知识并渐进式评估推理能力。
  3. 实验表明，GuessArena能有效区分LLM在领域知识覆盖和推理链完整性方面的差异。

📝 摘要（中文）

大型语言模型（LLM）的评估传统上依赖于静态基准，这种模式存在两个主要局限性：（1）预定义的测试集缺乏对不同应用领域的适应性；（2）标准化的评估协议通常无法捕捉到对特定领域知识和上下文推理能力的细粒度评估。为了克服这些挑战，我们提出了GuessArena，这是一个基于对抗性游戏交互的自适应评估框架。受到“猜猜我是谁？”游戏的互动结构的启发，我们的框架无缝地将动态领域知识建模与渐进式推理评估相结合，以提高评估的保真度。在金融、医疗、制造、信息技术和教育这五个垂直领域的实证研究表明，GuessArena在领域知识覆盖范围和推理链完整性方面有效地区分了LLM。与传统基准相比，我们的方法在可解释性、可扩展性和场景适应性方面提供了显著优势。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）评估方法主要依赖于静态基准测试集，这些测试集无法充分覆盖各个垂直领域的特定知识和推理需求。此外，标准化的评估流程难以捕捉LLM在特定领域内的细粒度知识掌握程度和上下文推理能力，导致评估结果可能无法真实反映LLM在实际应用中的表现。因此，需要一种更具适应性和针对性的评估方法，以更准确地衡量LLM在特定领域的知识和推理能力。

核心思路：GuessArena的核心思路是借鉴“猜猜我是谁？”游戏的互动模式，构建一个自适应的评估框架。通过模拟人与人之间的问答互动，动态地探索LLM的领域知识和推理能力。框架通过多轮问答，逐步缩小候选答案范围，从而更精确地评估LLM对特定领域知识的掌握程度和推理链的完整性。这种互动式的评估方式能够更好地模拟真实应用场景，并提供更具解释性的评估结果。

技术框架：GuessArena框架主要包含以下几个模块：1) 领域知识建模模块：用于构建特定领域的知识库，例如金融、医疗等。2) 对抗游戏引擎：负责模拟“猜猜我是谁？”游戏的互动过程，包括问题生成、答案选择和状态更新。3) LLM接口：用于与待评估的LLM进行交互，接收问题并返回答案。4) 评估指标计算模块：用于计算LLM在游戏过程中的表现，例如问题数量、推理链长度和最终答案的准确性。整个流程是，首先领域知识建模模块构建知识库，然后对抗游戏引擎根据知识库生成问题，LLM接口接收问题并给出答案，游戏引擎根据答案更新状态，重复此过程直到得出最终答案，最后评估指标计算模块根据游戏过程计算评估指标。

关键创新：GuessArena的关键创新在于其自适应的评估方式和基于对抗游戏的互动模式。与传统的静态基准测试相比，GuessArena能够根据LLM的回答动态调整问题，从而更有效地探索LLM的知识边界和推理能力。此外，通过模拟人与人之间的问答互动，GuessArena能够提供更具解释性的评估结果，帮助用户了解LLM在特定领域的优势和不足。与现有方法的本质区别在于，GuessArena不是预先设定好问题和答案，而是通过动态交互来评估LLM。

关键设计：GuessArena的关键设计包括：1) 问题生成策略：如何根据当前状态生成最能区分候选答案的问题。2) 答案选择策略：如何从候选答案中选择最合适的答案。3) 评估指标：如何综合考虑问题数量、推理链长度和最终答案的准确性等因素，以更全面地评估LLM的表现。具体的技术细节未知，论文中可能没有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GuessArena在五个垂直领域（金融、医疗、制造、信息技术和教育）的实验结果表明，该框架能够有效区分LLM在领域知识覆盖范围和推理链完整性方面的差异。与传统基准相比，GuessArena在可解释性、可扩展性和场景适应性方面具有显著优势。具体的性能数据和提升幅度在摘要中没有明确给出，需要查阅论文全文。

🎯 应用场景

GuessArena可应用于各种需要评估LLM领域知识和推理能力的场景，例如金融、医疗、教育等。它可以帮助企业选择最适合其特定需求的LLM，并为LLM的持续改进提供反馈。此外，该框架还可以用于评估LLM在特定领域的风险和合规性，例如金融领域的反欺诈和医疗领域的诊断辅助。未来，GuessArena有望成为LLM评估的标准工具，推动LLM在各个领域的广泛应用。

📄 摘要（原文）

The evaluation of large language models (LLMs) has traditionally relied on static benchmarks, a paradigm that poses two major limitations: (1) predefined test sets lack adaptability to diverse application domains, and (2) standardized evaluation protocols often fail to capture fine-grained assessments of domain-specific knowledge and contextual reasoning abilities. To overcome these challenges, we propose GuessArena, an adaptive evaluation framework grounded in adversarial game-based interactions. Inspired by the interactive structure of the Guess Who I Am? game, our framework seamlessly integrates dynamic domain knowledge modeling with progressive reasoning assessment to improve evaluation fidelity. Empirical studies across five vertical domains-finance, healthcare, manufacturing, information technology, and education-demonstrate that GuessArena effectively distinguishes LLMs in terms of domain knowledge coverage and reasoning chain completeness. Compared to conventional benchmarks, our method provides substantial advantages in interpretability, scalability, and scenario adaptability.