Evaluating Inquiry Learning in LLM-Based Agents: Hypothesizing, Reasoning, and Exploration
作者: Marta Knežević, Seyed Parsa Neshaei, Jibril Frej, Vinitra Swamy, Tanja Käser
分类: cs.AI
发布日期: 2026-10-15
备注: EMNLP 2026 (Findings)
💡 一句话要点
提出统一框架评估LLM在探究学习中的能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 探究学习 假设生成 推理能力 教育支架 实验评估 复杂系统
📋 核心要点
- 现有研究通常孤立评估LLMs的探究能力，未能探讨其在完整探究周期中的整合能力。
- 本文提出了一种新的评估框架，允许LLMs在交互环境中进行变量操控和观察收集。
- 实验表明，LLMs在探究能力上表现有限，但通过教育支架式指导可显著提升其表现。
📝 摘要（中文）
科学探究涉及探索、假设生成和推理等迭代循环，以揭示复杂系统中的关系。大语言模型（LLMs）在这些过程中展现出强大的能力，但现有研究通常孤立评估这些能力，未能探讨模型如何在完整的探究周期中整合这些能力。本文提出了一种评估LLM探究能力的框架，扩展了Countdown任务至数学环境，允许代理通过操控变量、收集观察数据和推断关系来探究系统。实验结果显示，LLMs在探究能力上存在局限性，但通过结构化指导可以显著提升其表现。
🔬 方法详解
问题定义：本文旨在解决现有LLMs在探究学习中能力评估的不足，尤其是如何在完整的探究周期中整合各个能力。现有方法往往孤立评估，缺乏系统性。
核心思路：论文提出的框架允许LLMs在一个统一的交互环境中进行探究，通过操控变量和收集观察数据来推断关系，从而实现更全面的能力评估。
技术框架：整体架构包括一个数学环境，LLM代理通过操控变量、收集观察和推断关系三个主要模块进行探究。该框架扩展了Countdown任务，提供了一个动态交互的评估平台。
关键创新：最重要的创新在于将探究学习的各个环节整合到一个统一的框架中，允许对LLMs的探究能力进行全面评估，而不是孤立的能力测试。
关键设计：在实验中，采用了多种提示策略，并引入了结构化指导，灵感来源于教育支架，显著提升了LLMs在探究过程中的表现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，七种LLMs在探究能力上的表现有限，成功率较低。然而，采用结构化指导后，性能显著提升，表明教育支架式策略对LLMs的探究行为有积极影响。
🎯 应用场景
该研究的潜在应用领域包括教育技术、智能辅导系统和科学研究辅助工具。通过提升LLMs在探究学习中的能力，可以为学生提供更有效的学习支持，促进自主学习和批判性思维的发展，未来可能对教育模式产生深远影响。
📄 摘要（原文）
Scientific inquiry involves iterative cycles of exploration, hypothesis generation, and reasoning over observations to uncover relationships in complex systems. Large language models (LLMs) have demonstrated strong capabilities in several components of this process, including inductive reasoning, hypothesis generation, and data analysis. However, prior work typically evaluates these abilities in isolation, leaving open how models integrate them across a full inquiry cycle. In this work, we introduce a framework for evaluating LLMs' inquiry capabilities in a unified, interactive setting. We extend the Countdown task to a mathematical environment where an agent probes the system by manipulating variables, collecting observations, and inferring relationships between them. This setup enables analysis of exploration strategies, causal discovery, and hypothesis refinement during inquiry. Across seven LLMs and multiple prompting strategies, our experiments reveal limited inherent inquiry capabilities and low success rates in discovering the underlying expressions. However, structured guidance inspired by educational scaffolding significantly improves performance. Our findings highlight current limitations of LLMs in strategic exploration and iterative hypothesis refinement, and show how simple guidance strategies developed for human learners in inquiry learning can support more effective inquiry behavior.