Physio-DPO: Aligning Large Language Models with the Protein Energy Landscape to Eliminate Structural Hallucinations

📄 arXiv: 2601.00647v1 📥 PDF

作者: QiWei Meng

分类: cs.CL, cs.CE, q-bio.QM

发布日期: 2026-01-02

💡 一句话要点

Physio-DPO：通过蛋白质能量景观对齐大语言模型，消除结构幻觉

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 蛋白质设计 大语言模型 结构幻觉 直接偏好优化 能量景观 热力学稳定性 物理信息 蛋白质工程

📋 核心要点

  1. 蛋白质语言模型生成蛋白质序列时，常出现结构幻觉，即序列语言模型概率高但物理上不稳定的结构。
  2. Physio-DPO通过物理信息对齐，利用蛋白质能量景观的热力学稳定性来指导语言模型的优化。
  3. 实验表明，Physio-DPO显著降低了结构幻觉，提高了生成蛋白质的可折叠性和结构自洽性。

📝 摘要（中文）

大型蛋白质语言模型在生成式蛋白质设计方面展现出巨大潜力，但它们经常产生结构幻觉，即生成具有高语言可能性的序列，但这些序列会折叠成热力学不稳定的构象。现有的对齐方法，如直接偏好优化（DPO），在此设置中受到限制，因为它们将偏好建模为二元标签，并忽略了物理能量景观的连续结构。我们提出了Physio-DPO，一个基于物理信息的对齐框架，将蛋白质语言模型建立在热力学稳定性之上。Physio-DPO引入了一个幅度感知目标，该目标根据天然结构和物理扰动硬负例之间的能量差距来缩放优化更新。实验表明，Physio-DPO始终优于包括SFT、PPO和标准DPO在内的强大基线，将自洽性RMSD降低至1.28 Å，并将可折叠性提高至92.8%。定性分析进一步表明，Physio-DPO通过恢复疏水核心堆积和氢键网络等生物物理相互作用，有效地减轻了结构幻觉。

🔬 方法详解

问题定义：蛋白质语言模型在生成蛋白质序列时，容易产生结构幻觉，即生成的序列在语言模型中具有较高的概率，但折叠后形成的结构在物理上是不稳定的。现有的对齐方法，如DPO，将偏好建模为二元标签，忽略了蛋白质能量景观的连续性，无法有效解决结构幻觉问题。

核心思路：Physio-DPO的核心思路是将蛋白质语言模型与蛋白质的物理能量景观对齐，利用蛋白质的热力学稳定性作为优化目标。通过引入物理信息，引导模型生成在物理上更合理的蛋白质序列，从而减少结构幻觉。

技术框架：Physio-DPO框架主要包含以下几个步骤：1) 使用蛋白质语言模型生成候选蛋白质序列；2) 对候选序列进行结构预测，并计算其能量；3) 基于天然结构和物理扰动产生的硬负例，计算能量差距；4) 使用幅度感知的DPO目标函数，根据能量差距调整优化更新，从而将语言模型与物理能量景观对齐。

关键创新：Physio-DPO的关键创新在于引入了幅度感知的DPO目标函数，该函数根据天然结构和物理扰动硬负例之间的能量差距来缩放优化更新。这种方法能够更有效地利用蛋白质的物理信息，引导模型生成更稳定的结构。与现有方法相比，Physio-DPO能够更好地利用蛋白质能量景观的连续结构，从而更有效地减少结构幻觉。

关键设计：Physio-DPO的关键设计包括：1) 使用Rosetta等工具进行结构预测和能量计算；2) 通过物理扰动（如结构突变）生成硬负例；3) 设计幅度感知的DPO损失函数，该函数将能量差距作为权重，调整优化更新的幅度。具体损失函数的形式未知，但其核心思想是能量差距越大，优化更新的幅度越大，从而更有效地将语言模型与物理能量景观对齐。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Physio-DPO在实验中表现出显著的性能提升。与SFT、PPO和标准DPO等基线方法相比，Physio-DPO将自洽性RMSD降低至1.28 Å，并将可折叠性提高至92.8%。这些结果表明，Physio-DPO能够有效地减少结构幻觉，生成更稳定、更可靠的蛋白质结构。

🎯 应用场景

Physio-DPO在蛋白质设计领域具有广泛的应用前景，可以用于从头设计具有特定功能和稳定结构的蛋白质，例如新型酶、治疗性蛋白质和生物材料。该方法能够有效减少结构幻觉，提高设计成功率，加速蛋白质工程和合成生物学的发展。未来，Physio-DPO可以与其他蛋白质设计方法相结合，进一步提高蛋白质设计的效率和质量。

📄 摘要（原文）

Large Protein Language Models have shown strong potential for generative protein design, yet they frequently produce structural hallucinations, generating sequences with high linguistic likelihood that fold into thermodynamically unstable conformations. Existing alignment approaches such as Direct Preference Optimization are limited in this setting, as they model preferences as binary labels and ignore the continuous structure of the physical energy landscape. We propose Physio-DPO, a physics informed alignment framework that grounds protein language models in thermodynamic stability. Physio-DPO introduces a magnitude aware objective that scales optimization updates according to the energy gap between native structures and physics perturbed hard negatives. Experiments show that Physio-DPO consistently outperforms strong baselines including SFT, PPO, and standard DPO, reducing self consistency RMSD to 1.28 Å and increasing foldability to 92.8%. Qualitative analysis further demonstrates that Physio-DPO effectively mitigates structural hallucinations by recovering biophysical interactions such as hydrophobic core packing and hydrogen bond networks.