The Concrete-Arbitrary Gap: Kinship Reasoning in LLMs Is Not Indifferent to Presentation
作者: Thomas Pashby
分类: cs.CL
发布日期: 2026-09-30
💡 一句话要点
研究表明语言模型在亲属关系推理中对表达方式敏感
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 亲属关系推理 表达方式 推理预算 提示语言干预
📋 核心要点
- 现有大型语言模型在亲属关系推理中对表达方式的敏感性未被充分研究，导致其在不同表达方式下表现不均。
- 论文通过对比熟悉词汇与明确非标准谓词的表达，提出了推理预算和提示语言干预的策略，以改善模型表现。
- 实验结果显示，在多个模型中，具体表达的准确率显著高于任意表达，且通过干预可以有效缩小这一差距。
📝 摘要（中文）
本研究测试了大型语言模型在处理正式匹配的亲属关系问题时，使用熟悉词汇与明确的非标准谓词表达的效果差异。在500对图形中，具体表达的准确率比任意表达高出35.6个百分点，且所有四个配对差距均具有统计学意义。研究发现，推理预算和提示语言干预可以显著缩小这一差距，表明模型在此类任务中的关系能力并不对表达方式无差别。明确的定义提供了形式关系，但并未使非标准谓词的可用性达到嵌入学习语言关联的熟悉词汇的水平。
🔬 方法详解
问题定义：本研究旨在探讨大型语言模型在亲属关系推理任务中，使用不同表达方式（熟悉词汇与非标准谓词）对模型表现的影响。现有方法未能充分考虑表达方式的差异，导致模型在某些任务中的表现不佳。
核心思路：论文提出通过推理预算和提示语言干预来改善模型在不同表达方式下的表现。研究表明，模型的关系能力并不对表达方式无差别，而是可以通过适当的干预进行优化。
技术框架：研究设计了500对图形，分别使用熟悉词汇和非标准谓词进行表达。通过对比不同模型（如Qwen3.8-27B、Gemma 4 26B-A4B等）的表现，分析表达方式对推理结果的影响。
关键创新：本研究的主要创新在于揭示了大型语言模型在亲属关系推理中对表达方式的敏感性，强调了推理预算和提示语言干预的有效性。这与现有方法的普遍假设（即模型对表达方式无差别）形成鲜明对比。
关键设计：实验中采用了多种模型和表达方式，重点关注推理预算的设置和提示语言的设计，以确保能够有效评估不同表达方式对模型表现的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在500对图形的测试中，具体表达的准确率比任意表达高出35.6个百分点，且所有模型的差距均具有统计学意义。这表明表达方式对模型推理能力的影响显著，且通过适当的干预可以有效缩小这一差距。
🎯 应用场景
该研究的发现对自然语言处理领域具有重要的应用价值，尤其是在需要精确理解和推理的任务中，如人机对话系统、知识图谱构建等。未来，优化语言模型的表达方式将有助于提升其在复杂推理任务中的表现。
📄 摘要（原文）
We test whether large language models solve formally matched kinship problems equally well when relations are expressed in familiar vocabulary or by explicitly defined nonce predicates. Across 500 paired graphs, concrete accuracy exceeds arbitrary accuracy by 35.6 percentage points in local Qwen3.8-27B, 26.6 in Gemma 4 26B-A4B, 12.0 in Gemma 4 31B, and 5.4 in Qwen3.8-Max. All four paired gaps are statistically resolved. Reasoning budgets and prompt-language interventions can substantially reduce the difference, showing that it is modifiable rather than a fixed incapacity. The minimal conclusion is behavioral: on these tasks, the models' manifested relational competence is not indifferent to presentation. Explicit definitions provide the formal relations but do not make nonce predicates as usable as familiar vocabulary embedded in learned linguistic associations.