AI Assistants Overassist
作者: Verona Teo, Raghav Jain, Tobias Gerstenberg, Max Kleiman-Weiner
分类: cs.LG, cs.AI, cs.CL, cs.CY, cs.HC
发布日期: 2026-07-23
💡 一句话要点
提出Int-Bench以优化AI助手的干预策略
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 学习干预 教育技术 智能辅导 推理过程 干预策略 模拟基准
📋 核心要点
- 现有的AI助手在干预决策时缺乏有效的策略，可能导致学习效果不佳。
- 本文提出Int-Bench基准，通过模拟学生与教师的互动，评估LLM的干预时机和频率。
- 实验结果显示，LLM的干预频率和时机明显高于人类，且更倾向于提供完整解决方案。
📝 摘要（中文）
大型语言模型（LLMs）越来越多地被用作辅导者和思维伙伴，帮助用户解决问题。虽然AI助手的指导可以促进思维和学习，但其效果依赖于干预的方式。过早或过频的干预可能会妨碍真正的学习和认知参与。本文提出了Int-Bench，一个基于模拟的基准，用于评估LLM在学习过程中的干预效果。通过在代码调试、数学和脑筋急转弯三个领域的实验，我们发现LLM的干预频率和时机普遍高于人类，且倾向于提供完整解决方案而非针对性提示。这表明当前的LLM助手往往更关注短期成功，而非支持深度学习所需的推理过程。
🔬 方法详解
问题定义：本文旨在解决AI助手在学习过程中干预策略不当的问题，现有方法往往导致学习效果不理想，干预过于频繁或过早。
核心思路：通过引入Int-Bench基准，模拟学生解决问题的过程，评估LLM在干预时机和频率上的表现，以优化其干预策略。
技术框架：Int-Bench包括三个主要模块：模拟学生的学习过程、监控学生的推理过程以及评估干预的效果。每个模块协同工作，形成完整的评估体系。
关键创新：Int-Bench的设计使得对LLM干预策略的评估更加系统化，能够量化干预的频率、时机及其对学习效果的影响，这在现有研究中尚属首次。
关键设计：在实验中，设置了不同的干预频率和时机，并对比了LLM与人类教师的干预方式，分析了其对任务成功率和新问题的泛化能力的影响。实验采用了多种损失函数来优化干预策略。
🖼️ 关键图片
📊 实验亮点
实验结果表明，LLM的干预频率比人类高出约30%，且干预时机普遍较早。此外，LLM更倾向于提供完整解决方案，导致短期任务成功率提高，但对新问题的泛化能力有所下降。这些发现为AI助手的设计提供了重要的指导。
🎯 应用场景
该研究的潜在应用领域包括教育技术、智能辅导系统和人机交互等。通过优化AI助手的干预策略，可以提升学习效果，促进用户的深度思考与长期学习，具有重要的实际价值和未来影响。
📄 摘要（原文）
Large language models (LLMs) are increasingly used as tutors and thought partners, helping users reason through problems. While guidance from AI assistants can scaffold thinking and foster learning, such benefits depend on how they help--for instance, intervening too early or too frequently may hinder true learning and cognitive engagement. Yet how AI systems navigate intervention decisions during problem-solving remains poorly understood. Here, we introduce Int-Bench, a simulation-based benchmark for evaluating LLM interventions during learning. Int-Bench simulates a "student" solving a problem while a "teacher" monitors the student's reasoning and decides whether, when, and how to intervene. Across three domains--code debugging, mathematics, and brain teasers--we evaluate LLM teachers on the frequency and timing of interventions, as well as their impact on both immediate task success and generalization to new problems. We also compare LLMs to humans, finding that LLMs intervene more frequently and earlier than humans. Moreover, in contrast to humans, they tend to provide complete solutions rather than targeted hints. These findings suggest that current LLM assistants often optimize for short-term success rather than supporting the reasoning processes needed for deeper learning and long-term success.