HyCoSeq: Contextual Hyperbolic Representation Learning for Genomic Sequences

📄 arXiv: 2609.16925v1 📥 PDF

作者: Chenhao Zeng, Zhibin Pu, Shufei Ge

分类: cs.LG, q-bio.GN, stat.ML

发布日期: 2026-09-15

💡 一句话要点

提出HyCoSeq框架以解决基因组序列表示学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 超曲率几何 基因组表示学习 洛伦兹卷积 双向LSTM 上下文关系 生物信息学 机器学习

📋 核心要点

  1. 现有的超曲率基因组模型主要依赖洛伦兹卷积，未能有效聚合完整的洛伦兹表示，导致局部信息的损失。
  2. HyCoSeq框架通过加权洛伦兹残差聚合与多曲率洛伦兹编码相结合，增强了局部表示的几何一致性，并引入双向LSTM以捕捉上下文关系。
  3. 实验结果显示，HyCoSeq在多种基因组任务中超越了现有超曲率基线，并在没有大规模预训练的情况下，表现出与大型预训练模型相当的性能。

📝 摘要（中文）

超曲率几何为基因组表示学习提供了自然的归纳偏置，但现有的超曲率基因组模型主要使用洛伦兹卷积来学习局部序列表示，而其残差路径并未直接聚合完整的洛伦兹表示。我们提出了HyCoSeq，一个用于基因组序列的上下文超曲率表示学习框架。HyCoSeq将加权洛伦兹残差聚合引入多曲率洛伦兹编码，使完整的洛伦兹表示能够直接参与几何一致的局部聚合。它进一步引入了双向长短期记忆网络，从序列的两个方向整合信息，以学习基因组序列中不同位置局部表示之间的上下文关系，从而将局部超曲率卷积编码扩展到序列级上下文化表示。大量实验表明，HyCoSeq在多种基因组任务中优于现有的超曲率基线，并且在没有大规模基因组预训练的情况下，表现出与更大规模的预训练DNA语言模型相当的竞争力。

🔬 方法详解

问题定义：本论文旨在解决现有超曲率基因组模型在局部序列表示学习中的不足，特别是如何有效聚合完整的洛伦兹表示以保留更多信息。

核心思路：HyCoSeq通过引入加权洛伦兹残差聚合，使得完整的洛伦兹表示能够直接参与局部聚合，同时结合双向LSTM来学习序列中不同位置的上下文关系，从而提升表示的质量。

技术框架：HyCoSeq的整体架构包括多曲率洛伦兹编码模块、加权残差聚合模块和双向LSTM模块。首先，通过多曲率洛伦兹编码提取局部特征，然后使用加权残差聚合进行信息整合，最后通过双向LSTM捕捉上下文信息。

关键创新：HyCoSeq的主要创新在于将加权洛伦兹残差聚合与双向LSTM结合，形成了一种新的上下文超曲率表示学习方法，这与传统的单一卷积方法有本质区别。

关键设计：在设计中，采用了加权聚合策略以增强重要特征的影响力，同时在LSTM中引入了双向结构，以便更全面地捕捉序列信息。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

HyCoSeq在多项基因组任务中表现优异，超越了现有的超曲率基线，且在没有大规模基因组预训练的情况下，达到了与更大规模预训练DNA语言模型相当的性能，显示出其强大的实用性和有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在基因组学、个体化医疗和生物信息学领域。HyCoSeq能够有效提升基因组序列分析的准确性，为疾病预测、基因组功能注释等提供更为精确的工具，未来可能推动基因组研究的深入发展。

📄 摘要（原文）

Hyperbolic geometry provides a natural inductive bias for genomic representation learning, but existing hyperbolic genomic models primarily use Lorentz convolutions to learn local sequence representations, while their residual pathways do not directly aggregate full Lorentz representations. We propose HyCoSeq, a contextual hyperbolic representation learning framework for genomic sequences. HyCoSeq incorporates weighted Lorentzian residual aggregation into multi-curvature Lorentz encoding, allowing full Lorentz representations to participate directly in geometry-consistent local aggregation. It further introduces a bidirectional long short-term memory network that integrates information from both sequence directions to learn contextual relationships among local representations at different positions within a genomic sequence, thereby extending local hyperbolic convolutional encoding to sequence-level contextualized representations. Extensive experiments across diverse genomic tasks show that HyCoSeq outperforms existing hyperbolic baselines and, without large-scale genomic pretraining, achieves competitive performance against substantially larger pretrained DNA language models.