Samples, Sources, Space: Decomposing Data Scale in Spatially Structured Representation Learning of Human Brain Microarchitecture
作者: Christian Schiffer, Mathis Bode, Thomas Lippert, Katrin Amunts, Timo Dickscheid
分类: cs.AI
发布日期: 2026-09-25
💡 一句话要点
提出数据分配方法以优化人脑微观结构的表示学习
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 数据分配 空间结构 表示学习 人脑微观结构 对比学习 样本多样性 模型泛化 神经科学
📋 核心要点
- 现有方法通常仅通过样本数量来评估数据规模，忽视了样本来源和空间分布的影响。
- 论文提出将数据规模视为分配问题，明确区分样本数量、源多样性和空间覆盖率三个维度。
- 实验结果显示，增加独特样本和空间覆盖率能显著提升模型性能，而源多样性在固定样本下未见改善。
📝 摘要（中文）
本研究探讨了在空间结构化表示学习中，数据规模的分解问题。传统的规模研究通常仅通过样本数量来表示训练数据，而在层次和空间结构数据中，相同数量的样本可能来自不同数量的源并在底层域中以不同方式分布。通过对93次对比模型的预训练实验，研究发现样本数量、源多样性和空间覆盖率是影响模型性能的独立因素。结果表明，增加独特样本数量和空间覆盖率可以显著提升模型性能，而在固定样本数量下，增加源数量并未带来可检测的改善。
🔬 方法详解
问题定义：本研究旨在解决在空间结构化表示学习中，如何有效分配样本、源和空间覆盖的问题。现有方法未能充分考虑样本来源和空间分布对模型性能的影响。
核心思路：论文通过将数据规模分解为样本数量、源多样性和空间覆盖率，提出了一种新的数据分配策略，以优化模型的学习效果。
技术框架：研究采用对比学习模型，进行93次预训练实验，使用来自21个人脑的1160万个空间锚定图像块。模型通过空间邻近性进行监督，评估不同数据分配策略的效果。
关键创新：本研究的创新在于明确区分样本数量、源多样性和空间覆盖率，揭示了它们对模型泛化能力的独立影响，挑战了传统的样本数量评估方法。
关键设计：实验中调整了样本数量、计算资源和模型容量，采用对比损失函数，确保模型能够有效利用空间信息进行学习。
🖼️ 关键图片
📊 实验亮点
实验结果表明，增加独特样本数量和空间覆盖率显著提升模型性能，而在固定样本数量下，增加源数量未带来可检测的改善。具体而言，模型在样本数量增加时的性能提升幅度达到了显著水平，表明源多样性对泛化能力的影响。
🎯 应用场景
该研究的结果对神经科学和医学影像分析具有重要应用价值，能够帮助研究人员更好地理解人脑微观结构的复杂性，并优化相关的机器学习模型。此外，该方法论也可扩展到其他领域的空间数据分析，如生态学和地理信息系统。
📄 摘要（原文）
Scaling studies typically represent training data by a single count of samples. For hierarchically and spatially structured data, however, the same number of samples can be drawn from few or many sources and distributed differently across the underlying domain. We therefore study data scaling as an allocation problem, separating unique sample count, source diversity, and spatial coverage. We study this decomposition in microscopic whole-brain histology, where a source is an individual brain, and a sample is an image patch at a specific spatial location. Across 93 controlled pretraining runs of a contrastive model that uses spatial proximity for supervision, we vary data allocation, compute, and model capacity over 11.6 million spatially anchored image patches from 21 human brains. Performance improves with more unique samples, broader spatial coverage, additional compute, and larger model capacity. At fixed sample count, distributing samples across one to 18 subjects produces no detectable improvement, even though representations generalize substantially better to subjects encountered during pretraining. Inter-subject variation therefore strongly affects generalization, but additional subjects provide no benefit when a fixed sample budget is distributed across more sources. These results establish sample count, source diversity, and spatial coverage as distinct axes of data scaling in spatially structured representation learning.