$\mathbb{SL}(n)$ Representation Learning: An Intrinsic Mixed-Curvature Space with Higher Curvature Capacities and Deeper Order-Aware Composition

📄 arXiv: 2609.15083v1 📥 PDF

作者: Xingrun Li, Yusuke Mukuta, Xin Yang, Yinyu Ye, Tatsuya Harada

分类: cs.LG

发布日期: 2026-09-14

备注: 35 pages, 8 figures

💡 一句话要点

提出$ ext{SL}(n)$空间以解决混合曲率表示学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 混合曲率 表示学习 几何结构 非交换群 深层组合 图基准 Schatten结构

📋 核心要点

  1. 现有的混合曲率表示学习方法依赖于乘积流形，无法有效整合不同曲率空间的特性。
  2. 本文提出$ ext{SL}(n)$空间，通过简单的几何约束和左不变结构，捕捉复杂的几何特征和顺序关系。
  3. 实验证明，$ ext{SL}(n)$在多个基准数据集上显著提升了性能，尤其在图表示学习任务中表现优异。

📝 摘要（中文）

混合曲率表示学习旨在捕捉无法通过单一曲率模型充分描述的丰富几何结构。现有方法主要依赖于乘积流形，需手动指定不同曲率空间的组合方式及其在各因素中的贡献。本文引入$ ext{SL}(n)$空间，定义为简单的$ ext{det}(A)=1$约束下的左不变Schatten-$p$ Finsler结构。尽管构造简单，$ ext{SL}(n)$在共同的标杆周围展现出点状负、零和正的标志曲率，其混合曲率和曲率耦合能力相对于内在几何上限是渐近最大化的。此外，其非交换群结构提供了固有的顺序敏感性，非阿贝尔李代数允许任意深度的非零嵌套李括号，从而实现深层次的顺序感知组合。实验证明，$ ext{SL}(n)$在不同规模的图基准上始终优于多种表示流形基线，在KEGG上平均失真降低了44.3%，在HumanCyc上降低了40.5%，在OGBL-PPA上Hits@20提升了42.8%。Flickr30k-Order的实验进一步支持其捕捉有序组合中的高阶依赖能力。这些结果表明，简单的结构约束可以在统一的表示空间中产生意想不到的丰富几何、容量和组合能力。

🔬 方法详解

问题定义：本文旨在解决现有混合曲率表示学习方法在整合不同曲率空间时的不足，特别是如何有效捕捉复杂几何结构的问题。

核心思路：提出$ ext{SL}(n)$空间，利用简单的$ ext{det}(A)=1$约束和左不变Schatten-$p$ Finsler结构，能够在一个统一的框架中实现混合曲率的表示。

技术框架：整体架构包括定义$ ext{SL}(n)$空间的几何结构、构建非交换群结构以增强顺序敏感性，以及通过深层次组合实现高阶依赖的捕捉。

关键创新：最重要的创新在于引入了$ ext{SL}(n)$空间，其混合曲率和曲率耦合能力相对内在几何上限是渐近最大化的，且其非阿贝尔李代数允许深层次的组合。

关键设计：关键设计包括Schatten-$p$ Finsler结构的具体实现、非零嵌套李括号的构造，以及在训练过程中使用的损失函数和优化策略。通过这些设计，模型能够有效捕捉复杂的几何特征和顺序关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，$ ext{SL}(n)$在KEGG数据集上平均失真降低了44.3%，在HumanCyc上降低了40.5%，在OGBL-PPA上Hits@20提升了42.8%。这些结果表明该方法在多个基准测试中显著优于现有的表示流形基线。

🎯 应用场景

该研究的潜在应用领域包括图表示学习、计算机视觉和自然语言处理等。通过捕捉复杂的几何结构和顺序依赖，$ ext{SL}(n)$空间能够提升多种任务的性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Mixed-curvature representation learning seeks to capture rich geometric structures that cannot be adequately modeled by a single curvature regime. Existing approaches largely rely on product manifolds, which require manually specifying how different curvature spaces are combined and separate their curvature contributions across factors. We introduce the $\mathbb{SL}(n)$ space, a representation geometry defined by the simple $\det(A)=1$ constraint and a left invariant Schatten-$p$ Finsler structure. Despite this minimal construction, $\mathbb{SL}(n)$ exhibits pointwise negative, zero, and positive flag curvature around a common flagpole, while its mixed-curvature and curvature-coupling capacities are asymptotically maximal relative to the intrinsic geometric upper bound. Beyond geometry, its noncommutative group structure provides inherent order sensitivity, and its non-nilpotent Lie algebra admits nonzero nested Lie brackets at arbitrary depth, enabling deep order-aware composition. Empirically, $\mathbb{SL}(n)$ consistently outperforms a broad range of representation manifold baselines across graph benchmarks at different scales. It reduces average distortion over the strongest baselines by $44.3\%$ on KEGG and $40.5\%$ on HumanCyc, and improves Hits@20 by $42.8\%$ on OGBL-PPA. Experiments on Flickr30k-Order further support its ability to capture higher order dependencies from ordered composition. Together, these results show how a seemingly simple structural constraint can yield unexpectedly rich geometry, capacity, and composition within a unified representation space.