Looking Inside LLMs: Small-World Connectivity as a Signature of Reasoning Performance

📄 arXiv: 2610.12304v1 📥 PDF

作者: Zheng Huang, Sansheng Cao, Enpei Zhang, Weikang Qiu, Elynn Chen, Xiang Zhang, Yaoqing Yang, Rex Ying, Dawei Zhou, Yujun Yan

分类: cs.AI

发布日期: 2026-10-08

💡 一句话要点

通过小世界连接性揭示LLM推理性能的结构特征

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 小世界连接性 推理性能 功能图 稀疏性分配 注意力机制 核心分数 桥接分数

📋 核心要点

  1. 现有方法主要关注LLM的行为表现，缺乏对其内部结构与推理能力之间关系的深入理解。
  2. 本文提出通过小世界连接性分析LLM的内部组织，构建功能图以量化注意力头的连接性。
  3. 实验结果表明，SWA方法在保持小世界组织和模型性能方面优于其他分配策略，显著降低了困惑度。

📝 摘要（中文）

理解大型语言模型（LLM）的推理能力需要超越行为表现，考察其内部组织如何反映推理能力。受神经科学发现的启发，本文研究小世界连接性作为LLM推理的结构特征。通过构建功能图，发现较高的小世界指数（SWI）与更好的流体推理性能一致相关。进一步分析发现，重要的注意力头在其社区内的连接权重较大，而跨社区的连接权重分布较集中。这些观察支持了高核心和低桥接分数作为推理能力结构指标的假设。通过引入小世界分配（SWA）方法，实验证明其在六个LLM中优于其他分配策略，减少WikiText困惑度高达20%。

🔬 方法详解

问题定义：本文旨在解决如何通过内部结构理解LLM的推理能力。现有方法多集中于行为表现，未能揭示内部组织与推理能力的关系。

核心思路：论文提出通过小世界连接性作为LLM推理能力的结构特征，构建功能图以分析注意力头的连接性，进而验证其与推理性能的相关性。

技术框架：整体架构包括构建功能图、计算小世界指数（SWI）、分析注意力头的连接权重和分布，以及引入小世界分配（SWA）方法进行模型优化。

关键创新：最重要的技术创新在于提出小世界连接性作为推理性能的可测量特征，并通过核心和桥接分数来评估注意力头的重要性，这与现有方法的行为导向形成鲜明对比。

关键设计：在技术细节上，关注注意力头的连接权重分布，设计了SWA方法以优化模型的稀疏性分配，确保小世界组织的保留。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，SWA方法在六个大型语言模型中优于其他稀疏性分配策略，成功降低WikiText困惑度高达20%。这一结果验证了小世界连接性作为推理性能结构特征的有效性。

🎯 应用场景

该研究为理解和优化大型语言模型的推理能力提供了新的视角，潜在应用于自然语言处理、智能问答系统和对话生成等领域。未来，基于小世界连接性的分析方法可能推动更高效的模型设计与训练策略。

📄 摘要（原文）

Understanding large language model (LLM) reasoning requires looking beyond behavioral performance to examine how reasoning ability is reflected in internal organization. Inspired by neuroscience findings linking higher intelligence to stronger small-world organization in functional brain networks, we investigate small-world connectivity as a structural signature of LLM reasoning. We construct functional graphs from attention-head activation similarities and find that a higher small-world index (SWI), capturing local clustering and short global paths, consistently correlates with better fluid reasoning performance across models and training checkpoints. Since local clustering is central to small-world organization, we further examine how heads important for model performance connect within and across communities. We find that these heads tend to have a larger share of connection weight within their own communities (high core scores) and a more concentrated weight distribution across communities (low bridge scores). These observations motivate the hypothesis that high core and low bridge scores serve as structural indicators of head importance for reasoning capability. We validate this hypothesis through pruning, introducing Small-World Allocation (SWA), a hierarchical sparsity allocation method guided by these scores. Across six LLMs, SWA better preserves small-world organization and model performance than competing allocation strategies, reducing WikiText perplexity by up to 20%. Together, these findings identify small-world functional connectivity as a measurable signature of LLM reasoning performance, offering a structural perspective that complements behavioral evaluation.