Ontologies in Design: How Imagining a Tree Reveals Possibilites and Assumptions in Large Language Models
作者: Nava Haghighi, Sunny Yu, James Landay, Daniela Rosner
分类: cs.HC, cs.CL
发布日期: 2025-04-03
备注: 20 pages, 1 figure, 2 tables, CHI '25
💡 一句话要点
提出基于本体论的设计框架，用于分析和改进大型语言模型。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 本体论 设计框架 人工智能伦理 知识表示
📋 核心要点
- 现有的大语言模型分析主要集中在价值观和伦理层面，忽略了本体论（关于我们如何思考和谈论事物）这一重要维度。
- 论文提出了一种基于实践的本体论设计框架，包含多元主义、扎根性、生动性和实施性四个方向，用于分析和改进LLM。
- 通过对LLM聊天机器人和代理模拟的本体论分析，展示了该框架在LLM开发流程中开启的潜力，并讨论了其局限性。
📝 摘要（中文）
在生成式人工智能快速发展的背景下，社会技术学者和评论家已经追踪到许多由此产生的危害，其分析主要集中在价值观和伦理学（例如，偏见）上。虽然基于价值观的分析至关重要，但我们认为本体论——关于我们允许自己思考或谈论什么——是分析这些系统的一个重要但未被充分认识的维度。我们提出了一种基于实践的本体论参与的需求，并提供了四种考虑设计中本体论的方向：多元主义、扎根性、生动性和实施性。通过进行两次本体论分析，我们分享了通过这些方向在整个LLM开发流程中开启的潜力：检查四个基于LLM的聊天机器人在提示练习中的反应，以及分析基于LLM的代理模拟的架构。最后，我们分享了在社会技术系统的设计和开发中使用本体论的机会和局限性。
🔬 方法详解
问题定义：现有的大型语言模型（LLM）的分析主要集中在价值观和伦理层面，例如偏见问题。然而，这种分析忽略了本体论层面的问题，即LLM如何定义和理解世界，以及这种定义如何影响其行为和输出。现有方法缺乏一种系统性的方式来探索和评估LLM的本体论假设和潜在的局限性。
核心思路：论文的核心思路是引入本体论作为一种分析和设计LLM的工具。通过关注LLM如何构建和表示知识，可以更好地理解其行为，并发现潜在的问题和改进机会。论文提出了四个本体论设计方向：多元主义（考虑多种视角）、扎根性（基于实际经验）、生动性（鼓励创造性思考）和实施性（关注实际应用）。
技术框架：论文没有提出一个具体的算法或模型，而是一个概念框架。该框架包含两个主要的分析方法：1) 提示练习：通过向LLM提出特定的问题或任务，观察其反应，从而推断其内在的本体论假设。2) 架构分析：分析LLM的内部结构和知识表示方式，例如知识图谱或嵌入空间，从而理解其如何组织和处理信息。
关键创新：论文的关键创新在于将本体论引入到LLM的设计和分析中。与传统的基于价值观的分析不同，本体论分析关注LLM如何定义和理解世界，从而可以发现更深层次的问题和改进机会。此外，论文提出的四个本体论设计方向为LLM的开发人员提供了一种新的思考方式，鼓励他们更加关注LLM的知识表示和推理能力。
关键设计：论文没有涉及具体的参数设置或网络结构。其重点在于提供一种概念框架和分析方法，而不是一个具体的算法或模型。关键的设计在于四个本体论设计方向，它们为LLM的开发人员提供了一种指导原则，帮助他们更加关注LLM的知识表示和推理能力。
🖼️ 关键图片
📊 实验亮点
论文通过对四个LLM聊天机器人和LLM代理模拟的案例研究，展示了本体论设计框架的有效性。例如，通过提示练习，研究人员发现不同的LLM对“树”的概念有不同的理解，这反映了它们内在的本体论假设。这些发现为改进LLM的知识表示和推理能力提供了有价值的见解。
🎯 应用场景
该研究成果可应用于改进大型语言模型的设计和开发，使其更加可靠、公平和符合人类价值观。通过关注LLM的本体论假设，可以减少其产生偏见或不准确信息的风险。此外，该框架还可以用于评估和比较不同的LLM，从而帮助用户选择最适合其需求的模型。
📄 摘要（原文）
Amid the recent uptake of Generative AI, sociotechnical scholars and critics have traced a multitude of resulting harms, with analyses largely focused on values and axiology (e.g., bias). While value-based analyses are crucial, we argue that ontologies -- concerning what we allow ourselves to think or talk about -- is a vital but under-recognized dimension in analyzing these systems. Proposing a need for a practice-based engagement with ontologies, we offer four orientations for considering ontologies in design: pluralism, groundedness, liveliness, and enactment. We share examples of potentialities that are opened up through these orientations across the entire LLM development pipeline by conducting two ontological analyses: examining the responses of four LLM-based chatbots in a prompting exercise, and analyzing the architecture of an LLM-based agent simulation. We conclude by sharing opportunities and limitations of working with ontologies in the design and development of sociotechnical systems.