GraphDecide: Benchmarking System One Models on Graph Tasks
作者: Xianliang Yang, Yapu Zhang, Li Zhao
分类: cs.AI
发布日期: 2026-10-05
🔗 代码/项目: GITHUB
💡 一句话要点
提出GraphDecide基准以评估系统一模型在图任务中的表现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图任务 系统一模型 基准评估 图理解 决策支持 模型比较 语言模型
📋 核心要点
- 现有系统一模型在图任务中的能力尚不明确，缺乏有效的评估基准。
- GraphDecide基准通过结合结构任务特征和图-文本输入对比，提供了一种模型无关的评估方法。
- 实验结果显示，Jev在图任务中的表现揭示了准确性与结构正确性之间的差异，且联合输入并不总能提升预测效果。
📝 摘要（中文）
随着大型语言模型（LLMs）在图理解和决策中的应用增多，系统一模型如Jev直接从提供的选项中进行选择。然而，系统一模型在图相关任务上的能力尚不明确。我们引入了GraphDecide，这是一个与模型无关的基准，结合了结构任务特征、匹配的图-文本输入对比和启发式提案控制，以诊断图决策性能。我们评估了Jev及相关选择模型与语言模型基线，涵盖十四种模型接口配置。Jev的结果表明，基准的核心区别在于：准确的邻接识别并不保证更广泛的结构正确性，联合图-文本输入并不总是能改善预测，合理的构建并不意味着高质量的解决方案。其任务合同、候选接口和评分规则支持原生选择器和语言模型适配器之间的比较。
🔬 方法详解
问题定义：论文旨在解决系统一模型在图任务中的评估问题，现有方法缺乏对模型性能的全面理解，尤其是在图结构的复杂性和决策准确性方面存在不足。
核心思路：通过引入GraphDecide基准，结合结构任务特征和图-文本输入对比，提供一种全面的评估框架，旨在揭示模型在图决策中的真实能力。
技术框架：整体架构包括任务合同、候选接口和评分规则三个主要模块。任务合同定义了不同的图任务，候选接口提供了多种模型选择方式，评分规则则用于评估模型的决策质量。
关键创新：最重要的技术创新在于提出了一种模型无关的评估基准，能够有效比较不同模型在图任务中的表现，尤其是揭示了准确性与结构正确性之间的关系。
关键设计：在设计中，采用了多种图-文本输入对比方式，设置了不同的评分规则，以确保评估的全面性和准确性，同时考虑了模型的选择机制和决策过程。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Jev在图任务中的表现揭示了多个关键发现：准确的邻接识别并不保证结构的整体正确性，联合图-文本输入并未显著改善预测效果，且合理的构建并不等同于高质量的解决方案。这些结果为图任务的模型评估提供了新的视角和思路。
🎯 应用场景
该研究的潜在应用领域包括图数据分析、决策支持系统和智能推荐等。通过提供一个标准化的评估基准，GraphDecide能够帮助研究人员和开发者更好地理解和改进图任务中的模型表现，推动相关技术的进步与应用。未来，该基准可能会影响图神经网络和其他图处理技术的发展方向。
📄 摘要（原文）
Large language models (LLMs) are increasingly explored for graph understanding and decision-making, while System One models such as Jev select directly from supplied options. However, the capabilities of System One models on graph-related tasks remain unclear. We introduce GraphDecide, a model-independent benchmark that combines structural task profiles, matched graph-text input contrasts and heuristic-proposal controls to diagnose graph decision performance. We evaluate Jev and related choice-based models alongside language-model baselines, covering fourteen model-interface configurations. Jev's results illustrate the benchmark's central distinctions: accurate adjacency recognition does not guarantee broader structural correctness, joint graph-text input does not consistently improve prediction, and feasible construction does not establish high solution quality. Its task contracts, candidate interfaces and scoring rules support comparison across native selectors and language-model adapters. Code and aggregate results are available at https://github.com/VictorYXL/JevGraphBench.