Exploring Communication Strategies for Collaborative LLM Agents in Mathematical Problem-Solving

📄 arXiv: 2507.17753v1 📥 PDF

作者: Liang Zhang, Xiaoming Zhai, Jionghao Lin, Jionghao Lin, Jennifer Kleiman, Diego Zapata-Rivera, Carol Forsyth, Yang Jiang, Xiangen Hu, Arthur C. Graesser

分类: cs.HC, cs.AI, cs.CL, cs.CY

发布日期: 2025-05-02

💡 一句话要点

探索LLM智能体在数学问题求解中的协作沟通策略

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM智能体 协作问题解决 沟通策略 数学问题求解 AI辅助教育

📋 核心要点

  1. 现有研究缺乏对LLM智能体在数学问题求解中不同沟通策略的系统评估，阻碍了协作效率的提升。
  2. 论文核心在于探索四种不同的智能体沟通模式，旨在提升LLM智能体在数学问题求解中的协作能力。
  3. 实验结果表明，双智能体模式优于单智能体，且点对点协作模式在MATH数据集上表现出最高的准确率。

📝 摘要（中文）

大型语言模型（LLM）智能体越来越多地应用于AI辅助教育，以支持辅导和学习。LLM智能体之间有效的沟通策略可以提高协作问题解决的效率，并促进教育领域中具有成本效益的应用。然而，很少有研究系统地评估不同沟通策略对智能体问题解决的影响。本研究在使用OpenAI GPT-4o模型的双智能体、基于聊天的数学问题解决环境中，考察了四种沟通模式：师生互动、点对点协作、互惠式同伴教学和批判性辩论。在MATH数据集上的评估结果表明，双智能体设置优于单智能体，其中点对点协作实现了最高的准确率。陈述、确认和提示等对话行为在协作问题解决中起着关键作用。虽然多智能体框架增强了计算任务，但有效的沟通策略对于解决AI教育中的复杂问题至关重要。

🔬 方法详解

问题定义：论文旨在解决LLM智能体在数学问题求解中，如何通过有效的沟通策略提升协作效率的问题。现有方法缺乏对不同沟通策略的系统性研究，导致智能体协作效率低下，无法充分发挥多智能体的优势。

核心思路：论文的核心思路是探索不同的智能体沟通模式，并评估其在数学问题求解中的效果。通过设计不同的对话机制，模拟不同的协作场景，从而找到最适合数学问题求解的沟通策略。这种方法旨在通过优化智能体之间的信息交流，提高问题解决的准确性和效率。

技术框架：论文采用双智能体、基于聊天的数学问题解决环境。整体流程包括：1) 问题输入：从MATH数据集中选取数学问题；2) 智能体交互：两个智能体根据预设的沟通模式进行对话，共同解决问题；3) 结果评估：评估智能体解决问题的准确率。四种沟通模式包括：师生互动、点对点协作、互惠式同伴教学和批判性辩论。

关键创新：论文的关键创新在于系统性地研究了不同沟通策略对LLM智能体协作问题解决的影响。以往研究较少关注沟通策略对智能体性能的影响，而该论文通过对比四种不同的沟通模式，揭示了点对点协作在数学问题求解中的优势。

关键设计：论文的关键设计在于四种沟通模式的具体实现。例如，在师生互动模式中，一个智能体扮演教师的角色，负责引导和提供提示，另一个智能体扮演学生的角色，负责尝试解决问题。在点对点协作模式中，两个智能体平等地参与问题解决，互相交流思路和方法。论文使用了OpenAI GPT-4o模型作为智能体的基础模型，并根据不同的沟通模式设计了相应的提示词和对话流程。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，双智能体设置在MATH数据集上的表现优于单智能体。在四种沟通模式中，点对点协作模式取得了最高的准确率，表明平等协作的沟通方式更适合数学问题求解。此外，研究还发现陈述、确认和提示等对话行为在协作问题解决中起着关键作用。

🎯 应用场景

该研究成果可应用于AI辅助教育领域，例如智能辅导系统、在线学习平台等。通过采用合适的沟通策略，可以提升LLM智能体在数学问题求解中的协作效率，从而为学生提供更有效的学习支持。此外，该研究也为多智能体系统的设计提供了参考，有助于开发更智能、更高效的协作式AI系统。

📄 摘要（原文）

Large Language Model (LLM) agents are increasingly utilized in AI-aided education to support tutoring and learning. Effective communication strategies among LLM agents improve collaborative problem-solving efficiency and facilitate cost-effective adoption in education. However, little research has systematically evaluated the impact of different communication strategies on agents' problem-solving. Our study examines four communication modes, \textit{teacher-student interaction}, \textit{peer-to-peer collaboration}, \textit{reciprocal peer teaching}, and \textit{critical debate}, in a dual-agent, chat-based mathematical problem-solving environment using the OpenAI GPT-4o model. Evaluated on the MATH dataset, our results show that dual-agent setups outperform single agents, with \textit{peer-to-peer collaboration} achieving the highest accuracy. Dialogue acts like statements, acknowledgment, and hints play a key role in collaborative problem-solving. While multi-agent frameworks enhance computational tasks, effective communication strategies are essential for tackling complex problems in AI education.