The Geometry of Knowledge Accessibility in Large Language Models
作者: Lihu Chen
分类: cs.CL
发布日期: 2026-10-02
💡 一句话要点
提出几何结构以解决大语言模型知识可访问性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 知识可访问性 大语言模型 几何结构 查询表示 智能问答
📋 核心要点
- 核心问题：现有的大语言模型在知识访问方面存在局限，无法可靠地回忆起所有相关知识。
- 方法要点：通过研究查询的几何结构，提出知识可访问性与查询表示的距离相关，中心位置的查询更易访问。
- 实验或效果：实验结果表明，知识可访问性与几何中心的距离呈负相关，且不同干预措施在不同查询类型中表现不同。
📝 摘要（中文）
大语言模型（LLMs）包含广泛的知识，但无法可靠地访问所有知识。本文研究了知识可访问性问题，定义为模型能否从其表示中回忆起查询所需的知识。研究发现，知识可访问性在模型的查询表示中具有简单的几何结构，更易访问的查询在表示空间中更接近中心，而较难访问的查询则较远。该几何结构揭示了知识边界，分隔了更易访问和较难访问的查询。实验表明，中心几何与知识可访问性关系密切，且不同的干预措施在不同情况下的有效性也得到了验证。
🔬 方法详解
问题定义：本文旨在解决大语言模型在知识访问中的不可靠性问题，现有方法未能有效揭示知识的组织结构和可访问性。
核心思路：通过分析查询的几何结构，发现知识可访问性与查询表示的几何中心距离相关，提出利用这一几何特性来优化查询处理。
技术框架：研究首先定义了知识可访问性，然后通过实验验证了查询表示的几何中心与知识可访问性之间的关系，最后探讨了不同干预措施的有效性。
关键创新：提出了知识可访问性的几何视角，揭示了查询表示的几何中心与知识访问之间的内在联系，与传统方法相比，提供了新的理解框架。
关键设计：在实验中，采用了不同的查询重写、链式推理和检索策略，评估其在不同查询类型中的效果，重点关注查询与几何中心的距离对知识可访问性的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，知识可访问性与几何中心的距离呈负相关，中心查询的可访问性显著高于边界查询。不同干预措施的效果也有所不同，查询重写在可访问查询中效果最佳，而检索在边界外查询中提升最大。
🎯 应用场景
该研究为大语言模型的知识访问提供了新的几何视角，潜在应用于智能问答系统、信息检索和对话系统等领域。通过优化查询处理策略，可以提升模型在实际应用中的表现，增强用户体验。
📄 摘要（原文）
Large language models (LLMs) contain broad knowledge, but they cannot access all of it reliably. We study this problem through knowledge accessibility, which describes whether the knowledge needed for a query can be recalled from the model. We find that knowledge accessibility has a simple geometric structure in the model's representation of the query alone, before any generation. More accessible queries are closer to a center in the representation space, while less accessible queries are farther away. This geometry reveals a knowledge boundary that separates more accessible queries from less accessible ones. Accessibility consistently decreases with distance from the center, and this distance-based ordering transfers across datasets even when the centers differ. Controlled experiments further show that the centered geometry is more closely related to knowledge accessibility than to reasoning difficulty. The geometry also reveals when different interventions are useful. Query rewriting helps more for accessible queries, chain-of-thought reasoning helps more near the boundary, and retrieval gives larger gains beyond the boundary. These findings not only provide a new geometric view of how knowledge is organized in language models, but also suggest a useful pre-generation signal for adaptive inference.