Who Owns That? Evaluating Ownership Intuitions in Large Language Models
作者: Xizhi Xiao, Yue Wu, Shan Xu, Jia Liu
分类: cs.AI
发布日期: 2026-09-30
备注: 26 pages, 11 figures
💡 一句话要点
提出竞争所有权归属任务以评估大型语言模型的所有权直觉
🎯 匹配领域: 支柱九:具身大模型 (Embodied Foundation Models)
关键词: 所有权归属 大型语言模型 人机交互 社会能力 判断多样性
📋 核心要点
- 核心问题:现有大型语言模型在处理竞争性所有权主张时,无法准确反映人类的多样化判断和情境依赖性。
- 方法要点:本文提出竞争所有权归属任务(COAT),通过42个场景评估LLM的所有权分配与人类判断的相似性。
- 实验或效果:研究发现,模型的所有权判断同质性较高,且在不同场景下对所有权的分配表现出不同的敏感性。
📝 摘要(中文)
所有权确立了对物体使用、控制和转让的权利。理解这些关系对于AI系统与人类及其资源的适当互动至关重要。然而,大型语言模型(LLMs)在面对竞争性所有权主张时如何归属所有权仍不清楚。本文引入了竞争所有权归属任务(COAT),包括42个场景,并将24种LLM配置的所有权分配与108名参与者的判断进行了比较。总体而言,模型与人类的相似性接近于人类之间的相似性,但模型在所有权判断上表现出更大的同质性。模型在个别答案中也比人类更均匀地划分所有权。通过汇总模型配置的响应,发现共享判断的场景更多,而人类则较少形成不同的观点群体。这些发现表明,评估的LLM响应未能充分捕捉参与者所有权判断的多样性及其在不同情境下的变化。
🔬 方法详解
问题定义:本文旨在解决大型语言模型在面对竞争性所有权主张时的归属判断问题。现有方法未能充分捕捉人类在不同情境下的所有权判断多样性和复杂性。
核心思路:论文通过引入竞争所有权归属任务(COAT),设计了42个具体场景,以评估LLM在所有权判断上的表现,并与人类参与者的判断进行比较。这样的设计旨在揭示模型与人类在所有权直觉上的异同。
技术框架:整体架构包括场景设计、模型配置、数据收集与分析四个主要模块。首先设计多样化的场景,然后使用24种LLM配置进行所有权判断,最后收集108名参与者的判断进行对比分析。
关键创新:最重要的技术创新在于引入了COAT这一新任务,系统性地评估了LLM在所有权归属方面的表现,揭示了模型在判断上的同质性与人类判断的多样性之间的差异。
关键设计:在实验中,模型的配置和场景设计均经过精心选择,以确保覆盖不同的所有权情境。同时,数据分析采用了定量与定性相结合的方法,以深入理解模型与人类判断的差异。
🖼️ 关键图片
📊 实验亮点
实验结果显示,模型在所有权判断上的同质性显著高于人类,且在不同场景下对所有权的分配表现出不同的敏感性。例如,随着物质价值的增加,模型对创作者的分配减少幅度较小,而人类则表现出更明显的下降。这些发现强调了模型在所有权判断上的局限性。
🎯 应用场景
该研究的潜在应用领域包括法律文本分析、智能合约执行以及人机交互系统等。通过更好地理解所有权归属,AI系统可以在处理资源管理和决策时与人类用户进行更有效的互动,提升其社会能力和适应性。未来,这一研究可能推动AI在社会伦理和法律领域的应用发展。
📄 摘要(原文)
Ownership establishes rights over the use, control, and transfer of objects. Understanding these relations is essential for AI systems to interact appropriately with people and their resources. Yet how large language models (LLMs) attribute ownership under competing claims remains unclear. We introduce the Competing Ownership Attribution Task (COAT), comprising 42 scenarios, and compare ownership allocations from 24 LLM configurations with those of 108 human participants. Overall, human-model similarity is close to human-human similarity, but models show greater homogeneity in their ownership judgments. Within individual answers, models also divide ownership more evenly among claimants than humans do. Pooling responses across model configurations reveals more scenarios with a shared judgment and fewer with distinct viewpoint groups than in humans. When humans form distinct groups, models may converge on one viewpoint or between competing viewpoints. Further comparisons reveal different contextual sensitivities. As material value increases across scenarios, allocations to creators decline less sharply in models than in humans. Across scenarios differing in public recognition of later holders as owners, allocations to these holders increase in models but decrease slightly in humans. Together, these findings suggest that the evaluated LLM responses do not fully capture the diversity of participants' ownership judgments or how those judgments vary across situations. Developing socially capable AI therefore requires moving beyond overall similarity to capture the diversity and context dependence of human judgments.