Information Structure in Mappings: An Approach to Learning, Representation, and Generalisation

📄 arXiv: 2505.23960v1 📥 PDF

作者: Henry Conklin

分类: cs.LG, cs.AI, cs.CL

发布日期: 2025-05-29

备注: PhD Thesis, 204 pages; entropy estimation discussed from p.94

💡 一句话要点

提出定量方法以解析神经网络的表示结构

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 神经网络 表示学习 信息论 泛化能力 深度学习 多智能体系统 语言模型

📋 核心要点

  1. 现有方法缺乏统一的符号和可靠的描述手段，无法有效分析神经网络的表示结构及其演变过程。
  2. 论文提出定量方法，通过识别映射中的结构原语，分析深度学习模型的信息表示及其泛化能力。
  3. 实验结果揭示了大型分布式认知模型的学习机制，并展示了语言结构与神经网络性能之间的相似性。

📝 摘要（中文）

尽管大型神经网络取得了显著成功，但我们仍缺乏统一的符号来思考和描述其表示空间。本文提出定量方法，识别映射中的系统结构，帮助理解深度学习模型如何学习信息表示、哪些结构促进泛化，以及设计决策如何影响这些结构的出现。通过识别映射中的结构原语及其信息论量化，分析多智能体强化学习模型、单任务训练的序列到序列模型和大型语言模型的学习、结构和泛化。还提出了一种新颖且高效的向量空间熵估计方法，适用于从100万到120亿参数的模型。

🔬 方法详解

问题定义：本文旨在解决缺乏统一符号和方法来描述神经网络表示空间结构的问题。现有方法无法有效捕捉表示的系统性和演变过程。

核心思路：通过引入定量方法，识别映射中的结构原语，并进行信息论量化，从而分析深度学习模型的学习过程和泛化能力。

技术框架：整体架构包括三个主要模块：1) 结构原语识别；2) 信息论量化；3) 学习与泛化分析。通过这些模块，能够系统地分析不同类型的深度学习模型。

关键创新：最重要的创新在于提出了一种新的向量空间熵估计方法，使得分析可以扩展到从100万到120亿参数的模型，显著提升了分析的适用性和准确性。

关键设计：在参数设置上，论文采用了适应性调整的策略，损失函数设计上结合了信息论指标，以确保模型在学习过程中能够有效捕捉结构信息。

📊 实验亮点

实验结果表明，所提出的方法在分析大型语言模型和强化学习模型的表示结构方面表现优异，能够揭示出与人类认知系统的相似性，提升了对模型学习机制的理解。

🎯 应用场景

该研究的潜在应用领域包括深度学习模型的设计优化、自然语言处理和多智能体系统等。通过理解模型的表示结构，可以提高模型的泛化能力和性能，推动智能系统向更复杂任务的扩展，具有重要的实际价值和未来影响。

📄 摘要（原文）

Despite the remarkable success of large large-scale neural networks, we still lack unified notation for thinking about and describing their representational spaces. We lack methods to reliably describe how their representations are structured, how that structure emerges over training, and what kinds of structures are desirable. This thesis introduces quantitative methods for identifying systematic structure in a mapping between spaces, and leverages them to understand how deep-learning models learn to represent information, what representational structures drive generalisation, and how design decisions condition the structures that emerge. To do this I identify structural primitives present in a mapping, along with information theoretic quantifications of each. These allow us to analyse learning, structure, and generalisation across multi-agent reinforcement learning models, sequence-to-sequence models trained on a single task, and Large Language Models. I also introduce a novel, performant, approach to estimating the entropy of vector space, that allows this analysis to be applied to models ranging in size from 1 million to 12 billion parameters. The experiments here work to shed light on how large-scale distributed models of cognition learn, while allowing us to draw parallels between those systems and their human analogs. They show how the structures of language and the constraints that give rise to them in many ways parallel the kinds of structures that drive performance of contemporary neural networks.