CrossLLM-Mamba: Multimodal State Space Fusion of LLMs for RNA Interaction Prediction

📄 arXiv: 2602.22236 📥 PDF

作者: Rabeya Tus Sadia, Qiang Ye, Qiang Cheng

分类: bio.GN, cs.CV, cs.LG

发布日期: 2026-02-28

💡 一句话要点

提出CrossLLM-Mamba，利用状态空间融合LLM进行RNA相互作用预测

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: RNA相互作用预测 状态空间模型 Mamba 生物大语言模型 多模态融合 药物发现 序列建模

📋 核心要点

  1. 现有RNA相互作用预测方法依赖静态融合策略，无法捕捉分子结合的动态上下文特性。
  2. CrossLLM-Mamba将相互作用预测转化为状态空间对齐问题，利用Mamba编码器实现模态间深度信息交互。
  3. 实验表明，CrossLLM-Mamba在RNA相互作用预测任务上取得了SOTA性能，显著提升了预测精度。

📝 摘要（中文）

准确预测RNA相关的相互作用对于理解细胞调控和推进药物发现至关重要。虽然ESM-2和RiNALMo等生物大语言模型(BioLLM)提供了强大的序列表示，但现有方法依赖于静态融合策略，无法捕捉分子结合的动态、上下文相关的特性。我们引入CrossLLM-Mamba，这是一种新颖的框架，将相互作用预测重新定义为状态空间对齐问题。通过利用双向Mamba编码器，我们的方法能够通过隐藏状态传播实现模态特定嵌入之间的深度“串扰”，将相互作用建模为动态序列转换，而不是静态特征重叠。该框架保持线性计算复杂度，使其可扩展到高维BioLLM嵌入。我们进一步结合高斯噪声注入和Focal Loss来增强对困难负样本的鲁棒性。在RNA-蛋白质、RNA-小分子和RNA-RNA三个相互作用类别上的综合实验表明，CrossLLM-Mamba实现了最先进的性能。在RPI1460基准测试中，我们的模型达到了0.892的MCC，超过了之前的最佳结果5.2%。对于结合亲和力预测，我们在核糖开关和重复RNA亚型上实现了超过0.95的Pearson相关性。这些结果表明，状态空间建模是多模态生物相互作用预测的强大范例。

🔬 方法详解

问题定义：现有方法在预测RNA相互作用时，通常采用静态融合策略，即简单地将不同模态（如序列信息）的特征拼接或加权融合。这种方法忽略了分子结合过程的动态性和上下文依赖性，导致预测精度受限。特别是在处理复杂的生物数据时，静态融合难以有效捕捉分子间的复杂关系。

核心思路：CrossLLM-Mamba的核心思路是将RNA相互作用预测问题重新定义为状态空间对齐问题。通过将不同模态的嵌入视为状态空间中的轨迹，模型学习如何通过状态转移来预测相互作用。这种动态建模方法能够更好地捕捉分子结合过程中的上下文信息和时序依赖关系。

技术框架：CrossLLM-Mamba框架主要包含以下几个阶段：1) 使用BioLLM（如ESM-2和RiNALMo）提取RNA序列的嵌入表示；2) 使用双向Mamba编码器对不同模态的嵌入进行编码，实现模态间的“串扰”；3) 通过状态空间模型学习模态间的动态转换，预测RNA相互作用；4) 使用Focal Loss处理类别不平衡问题，并采用高斯噪声注入增强模型的鲁棒性。

关键创新：CrossLLM-Mamba的关键创新在于引入了状态空间建模的思想，将RNA相互作用预测问题转化为动态序列转换问题。与传统的静态融合方法相比，该方法能够更好地捕捉分子结合过程中的上下文信息和时序依赖关系。此外，利用Mamba架构实现了线性计算复杂度，使其能够处理高维BioLLM嵌入。

关键设计：模型使用双向Mamba编码器进行特征提取和融合，Mamba架构以其高效的序列建模能力著称。损失函数方面，采用了Focal Loss来解决正负样本不平衡的问题，更加关注困难样本的学习。同时，为了增强模型的泛化能力，引入了高斯噪声注入作为一种正则化手段。具体的参数设置和网络结构细节未在摘要中详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CrossLLM-Mamba在三个RNA相互作用类别上均取得了SOTA性能。在RPI1460基准测试中，模型达到了0.892的MCC，超过了之前的最佳结果5.2%。在结合亲和力预测任务中，模型在核糖开关和重复RNA亚型上实现了超过0.95的Pearson相关性。这些结果表明，CrossLLM-Mamba在RNA相互作用预测方面具有显著优势。

🎯 应用场景

CrossLLM-Mamba在药物发现、疾病诊断和生物学研究等领域具有广泛的应用前景。准确预测RNA相互作用可以帮助研究人员更好地理解细胞调控机制，发现新的药物靶点，并开发更有效的治疗方法。例如，可以用于预测RNA与小分子药物的结合情况，从而加速药物筛选过程。此外，该方法还可以应用于个性化医疗，根据患者的RNA特征预测其对不同药物的反应。

📄 摘要（原文）

Accurate prediction of RNA-associated interactions is essential for understanding cellular regulation and advancing drug discovery. While Biological Large Language Models (BioLLMs) such as ESM-2 and RiNALMo provide powerful sequence representations, existing methods rely on static fusion strategies that fail to capture the dynamic, context-dependent nature of molecular binding. We introduce CrossLLM-Mamba, a novel framework that reformulates interaction prediction as a state-space alignment problem. By leveraging bidirectional Mamba encoders, our approach enables deep ``crosstalk'' between modality-specific embeddings through hidden state propagation, modeling interactions as dynamic sequence transitions rather than static feature overlaps. The framework maintains linear computational complexity, making it scalable to high-dimensional BioLLM embeddings. We further incorporate Gaussian noise injection and Focal Loss to enhance robustness against hard-negative samples. Comprehensive experiments across three interaction categories, RNA-protein, RNA-small molecule, and RNA-RNA demonstrate that CrossLLM-Mamba achieves state-of-the-art performance. On the RPI1460 benchmark, our model attains an MCC of 0.892, surpassing the previous best by 5.2\%. For binding affinity prediction, we achieve Pearson correlations exceeding 0.95 on riboswitch and repeat RNA subtypes. These results establish state-space modeling as a powerful paradigm for multi-modal biological interaction prediction.