Kinship Data Benchmark for Multi-hop Reasoning

📄 arXiv: 2601.07794v1 📥 PDF

作者: Tianda Sun, Dimitar Kazakov

分类: cs.CL, cs.AI

发布日期: 2026-01-12

备注: 11 pages, 2 figures, 9 tables

💡 一句话要点

提出KinshipQA基准，用于评估LLM在亲属关系推理中的多跳推理能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多跳推理 大型语言模型 知识图谱 亲属关系 基准测试

📋 核心要点

  1. 现有LLM在多跳推理能力方面面临挑战，难以有效整合多条信息进行连贯推断。
  2. 论文提出KinshipQA基准，通过生成大规模、文化相关的家谱数据，系统评估LLM的亲属关系推理能力。
  3. 实验结果表明，KinshipQA能够有效区分不同LLM在多跳推理上的表现，并揭示文化背景的影响。

📝 摘要（中文）

本文提出KinshipQA，一个用于评估大型语言模型（LLM）多跳推理能力的基准，该能力是指将多个信息片段组合成连贯推论的能力。核心贡献在于一个生成式流程，可以按需生成大规模、真实且具有文化特异性的家谱数据：满足与不同亲属关系系统相关的显式婚姻约束的互连家谱集合。这允许系统地控制和改变任务难度、文化假设和关系深度。从这些家谱中，我们推导出需要对隐式关系链进行推理的文本推理任务。我们使用六个最先进的LLM（包括开源和闭源模型）在统一的零样本协议和确定性解码下评估了该基准。使用精确匹配和基于集合的指标来衡量性能。结果表明，KinshipQA产生了广泛的结果，并揭示了不同模型和文化背景下多跳推理的系统性差异。

🔬 方法详解

问题定义：现有大型语言模型在多跳推理方面存在不足，尤其是在处理复杂关系链时，难以准确推断隐含信息。现有的评估基准可能缺乏对文化背景的考虑，或者难以系统地控制任务的难度和关系深度。因此，需要一个能够全面、可控地评估LLM多跳推理能力的基准。

核心思路：论文的核心思路是构建一个基于家谱数据的推理任务，利用亲属关系固有的复杂性和文化差异，来考察LLM的多跳推理能力。通过生成大规模、真实且具有文化特异性的家谱数据，可以系统地控制任务的难度、文化假设和关系深度，从而更全面地评估LLM的推理能力。

技术框架：KinshipQA的整体框架包括以下几个主要模块：1) 家谱数据生成器：根据不同的亲属关系系统和婚姻约束，生成大规模的家谱数据。2) 任务生成器：从家谱数据中提取关系链，生成需要进行多跳推理的文本推理任务。3) 评估模块：使用精确匹配和基于集合的指标，评估LLM在KinshipQA上的性能。

关键创新：KinshipQA的关键创新在于其生成式家谱数据pipeline，能够按需生成大规模、真实且具有文化特异性的家谱数据。这种方法允许研究人员系统地控制和改变任务难度、文化假设和关系深度，从而更全面地评估LLM的多跳推理能力。与现有方法相比，KinshipQA更加灵活、可控，并且能够更好地反映真实世界中的推理场景。

关键设计：家谱数据生成器采用基于约束满足的方法，确保生成的家谱数据满足特定的婚姻约束和亲属关系规则。任务生成器通过随机采样家谱中的关系链，生成不同难度和深度的推理任务。评估指标包括精确匹配（Exact Match）和基于集合的指标，用于衡量LLM生成的答案与正确答案之间的相似度。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，KinshipQA能够有效区分不同LLM在多跳推理上的表现。例如，在某些文化背景下，闭源模型的性能明显优于开源模型，但在其他文化背景下，两者之间的差距较小。此外，实验还发现，LLM在处理不同深度的关系链时，性能会显著下降，表明多跳推理仍然是LLM面临的一个重要挑战。

🎯 应用场景

KinshipQA基准可用于评估和提升LLM在知识图谱推理、常识推理、问答系统等领域的性能。通过更好地理解和模拟人类的推理过程，可以开发出更智能、更可靠的AI系统，应用于智能客服、医疗诊断、金融风控等领域，具有广泛的应用前景。

📄 摘要（原文）

Large language models (LLMs) are increasingly evaluated on their ability to perform multi-hop reasoning, i.e., to combine multiple pieces of information into a coherent inference. We introduce KinshipQA, a benchmark designed to probe this capability through reasoning over kinship relations. The central contribution of our work is a generative pipeline that produces, on demand, large-scale, realistic, and culture-specific genealogical data: collections of interconnected family trees that satisfy explicit marriage constraints associated with different kinship systems. This allows task difficulty, cultural assumptions, and relational depth to be systematically controlled and varied. From these genealogies, we derive textual inference tasks that require reasoning over implicit relational chains. We evaluate the resulting benchmark using six state-of-the-art LLMs, spanning both open-source and closed-source models, under a uniform zero-shot protocol with deterministic decoding. Performance is measured using exact-match and set-based metrics. Our results demonstrate that KinshipQA yields a wide spread of outcomes and exposes systematic differences in multi-hop reasoning across models and cultural settings.