CypherTurn: A Multi-Turn Benchmark for Conversational Text-to-Cypher Evaluation and the Autonomy Divergence

📄 arXiv: 2609.36987v1 📥 PDF

作者: Yuzhe Zhang, Weijie Zhu, Haolin Yang, Ziyun Zhang, Xianwei Xue, Mengke Chen, Qiutong Pan, Huaqian Cai

分类: cs.CL

发布日期: 2026-09-29

备注: Accepted as an oral paper at EMNLP 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出CypherTurn以解决多轮对话图数据库查询评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图数据库 自然语言处理 多轮对话 Cypher查询 模型评估 自主操作 错误管理 知识图谱

📋 核心要点

  1. 现有的图数据库查询基准仅评估单轮查询，无法反映实际应用中的多轮对话场景，导致评估结果的局限性。
  2. CypherTurn是首个针对对话式Text-to-Cypher评估的基准，包含多轮会话数据，旨在更真实地反映用户查询行为。
  3. 实验结果显示，最佳模型的执行准确率仅为64.7%，并且在自主操作下模型表现出显著的排名重排，揭示了错误管理的独立性。

📝 摘要（中文）

图数据库越来越多地通过自然语言进行查询，但现有基准测试仅评估孤立的单轮查询，而非分析师实际使用的多轮会话。我们提出了CypherTurn，这是首个用于对话式Text-to-Cypher评估的基准，包含721个会话和5927个轮次，涵盖7个知识图谱和13种对话现象。我们在引导的oracle协议和完全自主的代理协议下评估了15个模型，得出了四个主要发现。首先，最佳模型的执行准确率仅为64.7%，而会话级正确性低于5%。其次，尽管整体排名相关性强，但在自主操作下，前沿模型的排名发生了显著重排，我们称之为自主差异，揭示了错误管理与生成技能的部分独立性。第三，将行动预算从x3扩展到x10未能缩小自主差距，最强的前沿模型自我限制为每轮约两个动作。最后，单轮Cypher微调会降低多轮指令跟随能力，而适合架构的专业化超越了多个前沿模型。这些结果确立了CypherTurn作为对话图数据库推理的开放挑战。

🔬 方法详解

问题定义：论文旨在解决现有图数据库查询基准仅评估单轮查询的问题，缺乏对多轮对话的支持，导致评估结果无法真实反映实际应用场景的复杂性。

核心思路：提出CypherTurn基准，通过包含721个会话和5927个轮次的数据，评估对话式Text-to-Cypher的性能，强调多轮对话的复杂性和实际应用中的需求。

技术框架：CypherTurn的整体架构包括数据收集、模型评估和结果分析三个主要模块。数据收集涵盖多种对话现象，模型评估通过引导的oracle协议和自主代理协议进行，结果分析则聚焦于执行准确率和会话级正确性。

关键创新：CypherTurn的主要创新在于首次引入多轮会话的评估框架，并揭示了自主操作下模型表现的显著差异，称为自主差异，强调了错误管理能力的重要性。

关键设计：在实验中，模型的行动预算设置为x3到x10，但最强模型自我限制为每轮约两个动作。此外，单轮Cypher微调的影响也被详细分析，发现其对多轮指令跟随能力的负面影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，最佳模型的执行准确率仅为64.7%，而会话级正确性低于5%。在自主操作下，前沿模型的排名发生显著重排，揭示了错误管理能力的独立性。此外，扩大行动预算并未缩小自主差距，最强模型自我限制为每轮约两个动作。

🎯 应用场景

该研究的潜在应用领域包括智能助手、数据分析工具和自然语言处理系统，能够帮助用户更高效地与图数据库进行交互。通过改进多轮对话的评估，未来可能推动更智能的查询系统的发展，提升用户体验和数据处理能力。

📄 摘要（原文）

Graph databases are increasingly queried through natural language, yet every existing benchmark evaluates isolated single-turn queries rather than the multi-turn sessions through which analysts actually work. We introduce CypherTurn, the first benchmark for conversational Text-to-Cypher evaluation, comprising 721 sessions and 5,927 turns across 7 knowledge graphs and 13 conversational phenomena. We evaluate 15 models under a guided oracle protocol and a fully autonomous agentic protocol, yielding four findings. First, the best model reaches only 64.7% execution accuracy, and session-level correctness remains below 5%. Second, despite strong overall rank correlation, frontier models exhibit a consequential reordering of the top of the leaderboard under autonomous operation, a phenomenon we term the Autonomy Divergence, which reveals error-management as a partially independent capability from raw generation skill. Third, scaling action budgets from x3 to x10 fails to close the autonomy gap, as the strongest frontier models self-limit to approximately two actions per turn regardless of available budget. Fourth, single-turn Cypher fine-tuning degrades multi-turn instruction following, while architecture-appropriate specialization outperforms several frontier models. These results establish CypherTurn as an open challenge for conversational graph database reasoning. Code and data are available at https://github.com/BarryQ/CypherTurn.