HySPE: Positional Encoding via Symplectic Dual Shears

📄 arXiv: 2610.10154v1 📥 PDF

作者: Zhongping Ji

分类: cs.CL

发布日期: 2026-10-07

备注: 11 pages

💡 一句话要点

提出HySPE以解决位置编码的数值稳定性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 位置编码 超曲面辛变换 数值稳定性 长序列处理 自然语言处理

📋 核心要点

  1. 现有方法在位置编码中存在指数表示漂移的问题，导致数值不稳定性。
  2. HySPE通过双剪切的阻尼对称组合实现超曲面辛变换，提供了更稳定的数值表现。
  3. 实验结果显示，HySPE在多个数据集上显著降低了困惑度，提升了外推能力。

📝 摘要（中文）

我们介绍了超曲面辛位置编码（HySPE），将位置注意力基于非紧致辛变换进行构建。与经典的旋转位置嵌入（RoPE）通过旋转参数化辛群的紧致椭圆分支不同，HySPE通过双剪切的阻尼对称组合操作化其超曲面分支，从而实现具有两个光谱衰减率的共形辛收缩。为消除天真的绝对因子化所固有的指数表示漂移，我们在其不变特征基中对算子进行对角化，并引入块状坐标重基与自适应中心执行。这保证了长度无关的数值界限，同时与缓存的RoPE前向延迟（在RTX 4090上为7.21毫秒）相匹配。在TinyShakespeare数据集上，HySPE-UltraLong在$L=4096$时保持不变的困惑度为4.810，而RoPE降至131.198。在WikiText-103上，经过51M参数的子词Transformer训练（$L_{ ext{train}}=512$），HySPE在领域内与RoPE表现接近，同时在长度8192时稳健外推，尾部困惑度比RoPE降低了83.9%。这些受控实验确立了HySPE的外推鲁棒性和数值稳定性，但在大规模基础模型上的扩展行为评估仍然是未来的重要研究方向。

🔬 方法详解

问题定义：论文旨在解决位置编码中的数值稳定性问题，现有的旋转位置嵌入（RoPE）方法在长序列处理时会出现指数表示漂移，影响模型性能。

核心思路：HySPE通过引入超曲面辛变换，利用双剪切的阻尼对称组合来实现位置编码，从而在保持性能的同时提高数值稳定性。

技术框架：HySPE的整体架构包括对算子的对角化、块状坐标重基和自适应中心执行等模块，确保了在不同长度输入下的数值界限。

关键创新：HySPE的主要创新在于其基于超曲面辛变换的设计，与传统的RoPE方法相比，提供了更好的数值稳定性和外推能力。

关键设计：在实现中，HySPE采用了两个光谱衰减率的设计，并通过对角化算子来消除绝对因子化的影响，确保了模型在长序列上的有效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，HySPE在TinyShakespeare数据集上保持了4.810的困惑度，而RoPE降至131.198。在WikiText-103上，HySPE在长度8192时的尾部困惑度比RoPE降低了83.9%，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、时间序列预测和其他需要处理长序列数据的任务。HySPE的数值稳定性和外推能力将有助于提升这些领域中模型的性能和可靠性，未来可能对大规模基础模型的训练和应用产生深远影响。

📄 摘要（原文）

We introduce Hyperbolic Symplectic Positional Encoding (HySPE), grounding positional attention in non-compact symplectic transformations. While canonical Rotary Position Embedding (RoPE) parameterizes the compact, elliptic branch of $\Sp(2,\R)$ via rotations, HySPE operationalizes its hyperbolic branch via a damped symmetric composition of dual shears, yielding a conformally symplectic contraction with two spectral decay rates per channel pair. To eliminate the exponential representation drift inherent to naive absolute factorizations, we diagonalize the operator in its invariant eigenbasis and introduce blockwise coordinate rebasing with adaptive centered execution. This guarantees length-independent numerical bounds while matching cached RoPE forward latency (7.21\,ms on an RTX 4090). On TinyShakespeare, HySPE-UltraLong maintains an invariant perplexity of 4.810 up to $16\times$ zero-shot extrapolation ($L=4096$), whereas RoPE degrades to 131.198. Scaled to a 51M-parameter subword Transformer on WikiText-103 ($L_{\text{train}}=512$), HySPE closely matches RoPE in-domain while robustly extrapolating to length 8192, reducing tail perplexity by 83.9\% over RoPE. While these controlled experiments establish HySPE's extrapolation robustness and numerical stability, evaluating its scaling behavior on large-scale foundation models remains an important direction for future investigation.