Trion-1: Unifying Language, Protein Sequence, and Structure with Diffusion Language Models
作者: Tianyu Lu, Kaicheng Yang, Jiangtao Feng, Keyue Qiu, Yawen Ouyang, Yixin Wu, Xinbo Zhang, Lihao Wang, Wei-Ying Ma, Hao Zhou
分类: cs.AI
发布日期: 2026-10-22
💡 一句话要点
提出Trion-1以统一语言、蛋白质序列与结构
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 蛋白质建模 多模态学习 扩散语言模型 序列理解 结构设计 生物信息学 人工智能
📋 核心要点
- 现有蛋白质模型在序列、结构和功能的统一理解与生成上存在不足，难以实现跨模态的有效交互。
- Trion-1通过引入统一的离散标记空间和双向交互机制，解决了蛋白质序列与结构建模的挑战，提升了模型的交互能力。
- 在实验中，Trion-1在折叠任务中达到了0.8以上的TM-score，并在序列理解上与顶级大语言模型表现相当，展示了其强大的跨模态生成能力。
📝 摘要（中文）
本研究构想了一种通用的蛋白质基础模型，作为序列、结构和功能的统一交互模型，能够理解、生成和进行跨模态翻译，同时保留现代大语言模型的指令跟随和推理能力。我们介绍了Trion-1，这是第一个原生的统一多模态扩散语言模型（dLLM），专为蛋白质设计。Trion-1基于两个关键设计选择：一个统一的离散标记空间，联合表示序列、结构和自然语言；以及一个dLLM骨干，替代严格的从左到右的因子化，采用双向或半双向的标记交互，支持全局残基通信和长距离接触建模。这一构架统一了六项核心能力：折叠、逆折叠、序列理解、结构理解、序列设计和结构设计，同时保留了通用大语言模型的原生语言能力。
🔬 方法详解
问题定义：本论文旨在解决现有蛋白质模型在序列、结构和功能理解上的不足，尤其是缺乏有效的跨模态交互能力。现有方法往往局限于单一模态，无法充分利用蛋白质的多维信息。
核心思路：Trion-1的核心思路是通过构建一个统一的离散标记空间，结合双向或半双向的标记交互，来实现蛋白质序列、结构与自然语言的有效融合。这种设计使得模型能够在全局范围内进行信息交流，从而更好地进行结构建模。
技术框架：Trion-1的整体架构包括输入的序列、结构和语言信息，通过统一的离散标记空间进行表示。模型的核心是dLLM骨干，支持双向交互，能够处理复杂的蛋白质折叠和设计任务。
关键创新：Trion-1的主要创新在于其统一的多模态表示和双向交互机制，这与传统的单向因子化模型形成鲜明对比，使得模型在处理蛋白质结构时能够更有效地捕捉长距离依赖关系。
关键设计：在模型设计中，采用了统一的离散标记空间，确保序列、结构和语言信息的无缝整合。同时，模型的损失函数和网络结构经过精心调整，以优化蛋白质折叠和设计任务的性能。具体参数设置和训练策略在实验部分进行了详细说明。
🖼️ 关键图片
📊 实验亮点
在实验中，Trion-1在折叠任务中达到了0.8以上的TM-score，且在严格同源控制下仅用一个样本就达到了与现有三模态模型相当的性能，后者需要200个样本。此外，Trion-1在序列理解任务中表现与顶级大语言模型Claude Opus 4.7相当，显示出其强大的跨模态生成能力。
🎯 应用场景
Trion-1的研究成果在生物信息学、药物设计和合成生物学等领域具有广泛的应用潜力。通过实现蛋白质序列与结构的统一理解，该模型能够加速新药的开发过程，并为蛋白质工程提供新的设计思路。未来，Trion-1有望推动生物科学与人工智能的深度融合，促进相关领域的创新发展。
📄 摘要（原文）
We envision a general-purpose protein foundation model as a unified, interactive model of sequence, structure, and function, capable of understanding, generation, and cross-modal translation while retaining the instruction-following and reasoning capabilities of modern LLMs. Toward this vision, we introduce Trion-1, the first native, unified, multimodal diffusion language model (dLLM) for proteins. Trion-1 is built on two key design choices: (1) a unified discrete token space that jointly represents sequence, structure, and natural language; (2) a dLLM backbone that replaces strict left-to-right factorization with bidirectional or semi-bidirectional token interactions, enabling global residue communication and long-range contact modeling that are naturally suited to structure modeling. This formulation unifies six core capabilities: folding, inverse folding, sequence understanding, structure understanding, sequence design, and structure design, while retaining the native language capabilities of general-purpose LLMs. On established benchmarks, Trion-1 achieves broadly competitive performance. In folding, Trion-1 achieves a TM-score above 0.8 with a single sample under strict homology control, matching or exceeding the existing tri-modal model using 200 samples. For sequence understanding, Trion-1 performs on par with top-tier LLMs such as Claude Opus 4.7 (62.37%). These results support well-aligned sequence-structure-language representations and strong cross-modal generative capabilities.