METRO: Towards Strategy Induction from Expert Dialogue Transcripts for Non-collaborative Dialogues

📄 arXiv: 2604.11427v1 📥 PDF

作者: Haofu Yang, Jiaji Liu, Chen Huang, Faguo Wu, Wenqiang Lei, See-Kiong Ng

分类: cs.CL, cs.AI

发布日期: 2026-04-13

备注: ACL 2026

🔗 代码/项目: GITHUB

💡 一句话要点

METRO：从专家对话记录中归纳非协作对话策略

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 非协作对话 策略学习 大型语言模型 策略森林 对话Agent

📋 核心要点

  1. 现有非协作对话Agent依赖人工编码专家策略，成本高且难以扩展。
  2. METRO利用大型语言模型，从对话记录中自动归纳策略动作和规划逻辑，构建策略森林。
  3. 实验表明，METRO在两个基准测试中优于现有方法9%-10%，并具有良好的跨任务迁移能力。

📝 摘要（中文）

传统上，开发非协作对话Agent需要手动编码专家策略，这种方法难以扩展。我们提出了METRO，一种利用大型语言模型自主地从原始对话记录中归纳策略动作和规划逻辑的方法。METRO将专家知识形式化为策略森林，一种分层结构，既能捕捉短期响应（节点），又能捕捉长期战略远见（分支）。在两个基准测试上的实验结果表明，METRO表现出良好的性能，平均优于现有方法9%-10%。进一步的分析不仅揭示了METRO成功的关键（战略行为多样性和远见），还证明了其强大的跨任务迁移能力。这为以经济高效且可扩展的方式构建非协作Agent提供了新的见解。代码已开源。

🔬 方法详解

问题定义：论文旨在解决非协作对话Agent策略学习的问题。现有方法主要依赖人工设计和编码专家策略，这不仅耗时耗力，而且难以泛化到新的对话场景。痛点在于缺乏一种自动、可扩展的方式来从专家对话数据中学习策略。

核心思路：METRO的核心思路是利用大型语言模型（LLM）的强大能力，直接从原始的专家对话记录中学习策略。通过将专家知识形式化为“策略森林”，METRO能够同时捕捉短期响应和长期战略规划，从而实现更有效的策略学习。

技术框架：METRO的技术框架主要包含以下几个阶段：1) 数据预处理：对原始对话记录进行清洗和格式化。2) 策略动作提取：利用LLM从对话记录中提取策略动作。3) 策略森林构建：将提取的策略动作组织成一个分层结构，即策略森林，其中节点代表短期响应，分支代表长期战略规划。4) 策略学习：利用策略森林进行策略学习，训练对话Agent。

关键创新：METRO的关键创新在于：1) 提出了一种自动从专家对话记录中学习策略的方法，无需人工干预。2) 引入了“策略森林”的概念，能够同时捕捉短期响应和长期战略规划。3) 证明了该方法在非协作对话Agent构建中的有效性和可扩展性。

关键设计：具体的技术细节包括：1) 使用特定的Prompt工程来指导LLM进行策略动作提取。2) 策略森林的构建方式，例如如何确定节点之间的连接关系。3) 策略学习算法的选择，例如可以使用强化学习或模仿学习等方法。论文中可能还涉及一些超参数的设置，例如LLM的选择、训练轮数等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，METRO在两个基准测试中均优于现有方法，平均提升幅度为9%-10%。这证明了METRO在非协作对话Agent策略学习方面的有效性。此外，实验还表明METRO具有良好的跨任务迁移能力，这意味着可以在不同的对话场景中使用相同的策略森林。

🎯 应用场景

METRO具有广泛的应用前景，可用于构建各种非协作对话Agent，例如谈判机器人、客服机器人、游戏AI等。该研究降低了构建复杂对话Agent的成本，提高了开发效率，并有望推动人机交互领域的发展。未来，METRO可以进一步扩展到更复杂的对话场景，例如多方对话、情感对话等。

📄 摘要（原文）

Developing non-collaborative dialogue agents traditionally requires the manual, unscalable codification of expert strategies. We propose \ours, a method that leverages large language models to autonomously induce both strategy actions and planning logic directly from raw transcripts. METRO formalizes expert knowledge into a Strategy Forest, a hierarchical structure that captures both short-term responses (nodes) and long-term strategic foresight (branches). Experimental results across two benchmarks show that METRO demonstrates promising performance, outperforming existing methods by an average of 9%-10%. Our further analysis not only reveals the success behind METRO (strategic behavioral diversity and foresight), but also demonstrates its robust cross-task transferability. This offers new insights into building non-collaborative agents in a cost-effective and scalable way. Our code is available at https://github.com/Humphrey-0125/METRO.