First Steps Towards Overhearing LLM Agents: A Case Study With Dungeons & Dragons Gameplay
作者: Andrew Zhu, Evan Osgood, Chris Callison-Burch
分类: cs.CL, cs.AI, cs.HC
发布日期: 2025-05-28 (更新: 2025-09-05)
备注: 9 pages, 5 figures. COLM 2025 Workshop on AI Agents
🔗 代码/项目: GITHUB
💡 一句话要点
提出“窃听代理”范式，利用多模态LLM辅助人类对话，以龙与地下城游戏为例。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 窃听代理 多模态学习 音频语言模型 人机交互 龙与地下城
📋 核心要点
- 现有对话式LLM代理主要直接辅助用户，忽略了利用LLM在后台辅助人类对话的潜力。
- 本文提出“窃听代理”范式，让LLM“监听”人类对话，提供后台支持，无需主动交互。
- 通过龙与地下城游戏案例研究，验证了大型多模态模型具备通过音频线索执行窃听任务的能力。
📝 摘要（中文）
本文提出了一种与LLM代理交互的新范式，称为“窃听代理”。与直接协助用户的对话式LLM代理不同，窃听代理不主动参与对话，而是“监听”人与人之间的对话，并在后台执行任务或提供建议以辅助用户。本文以龙与地下城游戏为例，探索了窃听代理范式。我们使用大型多模态音频-语言模型作为窃听代理来辅助地下城主，并进行了深入研究。通过人工评估，我们发现某些大型音频-语言模型具有使用隐式音频线索执行窃听代理任务的新兴能力。最后，我们发布了Python库和项目代码，以支持对窃听代理范式的进一步研究。
🔬 方法详解
问题定义：本文旨在探索如何利用大型语言模型（LLM）在人与人对话的场景中提供辅助，但不同于传统的对话式LLM代理，本文关注的是一种被动的、后台的辅助模式。现有方法的痛点在于，LLM通常需要主动参与对话，而忽略了其在后台“监听”并提供建议的潜力。
核心思路：本文的核心思路是提出“窃听代理”的概念，即让LLM“监听”人类之间的对话，并根据对话内容在后台执行任务或提供建议。这种方式的优势在于，LLM可以在不打断人类对话流程的情况下，提供有价值的辅助信息。这样设计的目的是为了探索LLM在更广泛的人机交互场景中的应用，并减轻人类用户的认知负担。
技术框架：本文的技术框架主要包括以下几个部分：1）音频输入：使用麦克风等设备捕获人类对话的音频流。2）多模态LLM：使用大型多模态音频-语言模型，例如Whisper、LLaMA等，对音频流进行处理，提取语音信息和语义信息。3）任务执行模块：根据提取的语义信息，执行相应的任务，例如提供游戏建议、生成游戏内容等。4）结果输出：将任务执行结果以适当的方式呈现给用户，例如通过文本、语音等方式。
关键创新：本文最重要的技术创新点在于提出了“窃听代理”这一新的范式。与传统的对话式LLM代理相比，窃听代理不需要主动参与对话，而是通过“监听”来获取信息并提供辅助。这种方式更加自然、流畅，也更符合人类的交互习惯。此外，本文还探索了如何利用多模态LLM来处理音频信息，并将其应用于窃听代理任务中。
关键设计：在实验中，作者使用了现有的开源多模态模型，如Whisper用于语音转录，LLaMA用于语言理解和生成。关键设计在于如何将这些模型组合起来，并针对龙与地下城游戏场景进行微调。具体的参数设置和损失函数等技术细节在论文中没有详细描述，属于未知信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，某些大型音频-语言模型具备使用隐式音频线索执行窃听代理任务的新兴能力。通过人工评估，验证了窃听代理在龙与地下城游戏场景中的有效性。虽然论文没有提供具体的性能数据和提升幅度，但实验结果表明了窃听代理范式的可行性和潜力。
🎯 应用场景
窃听代理具有广泛的应用前景，例如在会议记录、客户服务、教育辅导等领域。它可以自动记录会议内容、分析客户需求、提供个性化学习建议等。未来，窃听代理有望成为一种重要的辅助工具，提高工作效率和生活质量。此外，该研究也为开发更自然、更智能的人机交互系统提供了新的思路。
📄 摘要（原文）
Much work has been done on conversational LLM agents which directly assist human users with tasks. We present an alternative paradigm for interacting with LLM agents, which we call "overhearing agents". These overhearing agents do not actively participate in conversation -- instead, they "listen in" on human-to-human conversations and perform background tasks or provide suggestions to assist the user. In this work, we explore the overhearing agents paradigm through the lens of Dungeons & Dragons gameplay. We present an in-depth study using large multimodal audio-language models as overhearing agents to assist a Dungeon Master. We perform a human evaluation to examine the helpfulness of such agents and find that some large audio-language models have the emergent ability to perform overhearing agent tasks using implicit audio cues. Finally, we release Python libraries and our project code to support further research into the overhearing agents paradigm at https://github.com/zhudotexe/overhearing_agents.