The limits of bio-molecular modeling with large language models : a cross-scale evaluation

📄 arXiv: 2604.03361 📥 PDF

作者: Yaxin Xu, Yue Zhou, Tianyu Zhao, Fengwei An, Zhixiang Ren

分类: cs.LG, bio.QM

发布日期: 2026-04-07

💡 一句话要点

BioMol-LLM-Bench：跨尺度生物分子建模中大语言模型能力的系统性评估与局限性分析

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生物分子建模 大语言模型 跨尺度评估 基准测试 BioMol-LLM-Bench

📋 核心要点

  1. 现有生物分子建模方法难以有效处理跨尺度的复杂系统，缺乏对大语言模型在生物领域应用能力的系统性评估。
  2. 论文提出BioMol-LLM-Bench基准，包含多尺度、多难度生物任务，并集成计算工具，以全面评估LLM的生物分子建模能力。
  3. 实验结果表明，思维链数据不总是有益，混合Mamba-Attention架构更适合长序列，监督微调牺牲泛化性，回归任务仍具挑战。

📝 摘要（中文）

生物分子系统跨尺度建模是科学研究的核心挑战。大语言模型（LLM）越来越多地应用于生物分子发现，但针对多尺度生物问题的系统性评估以及对其工具增强能力的严格评估仍然有限。本文提出了一个跨尺度的生物分子基准测试：BioMol-LLM-Bench，这是一个统一的框架，包含26个下游任务，涵盖4个不同的难度级别，并集成了计算工具以进行更全面的评估。对13个代表性模型的评估揭示了4个主要发现：思维链数据提供的益处有限，甚至可能降低生物任务的性能；混合Mamba-Attention架构对于长生物分子序列更有效；监督微调提高了专业化，但以牺牲泛化为代价；当前的LLM在分类任务上表现良好，但在具有挑战性的回归任务上仍然较弱。总之，这些发现为未来基于LLM的分子系统建模提供了实践指导。

🔬 方法详解

问题定义：现有生物分子建模方法在处理跨尺度问题时面临挑战，尤其是在利用大型语言模型（LLM）进行建模时，缺乏一个统一的、全面的评估框架来衡量LLM在不同尺度和难度级别的生物任务上的表现。此外，现有方法对LLM工具增强能力的评估也相对不足，难以充分挖掘LLM在生物分子建模中的潜力。

核心思路：论文的核心思路是构建一个名为BioMol-LLM-Bench的跨尺度生物分子基准测试，该基准包含多个下游任务，覆盖不同的生物分子尺度和难度级别。通过在该基准上评估不同的LLM，可以系统地分析LLM在生物分子建模中的优势和局限性，并为未来的模型设计和应用提供指导。

技术框架：BioMol-LLM-Bench是一个统一的框架，包含26个下游任务，这些任务被划分为4个不同的难度级别。为了更全面地评估LLM的能力，该框架还集成了计算工具。研究人员在13个代表性模型上进行了评估，并分析了不同架构、训练策略和任务类型对模型性能的影响。

关键创新：该研究的关键创新在于提出了BioMol-LLM-Bench，这是一个专门为评估LLM在生物分子建模中的能力而设计的基准测试。该基准测试覆盖了多个尺度和难度级别的生物任务，并集成了计算工具，从而可以更全面地评估LLM的性能。此外，该研究还揭示了LLM在生物分子建模中的一些局限性，例如思维链数据不总是有益，监督微调可能牺牲泛化性，以及回归任务仍然具有挑战性。

关键设计：BioMol-LLM-Bench的关键设计包括任务的选择和难度级别的划分。任务的选择需要覆盖不同的生物分子尺度和应用场景，例如蛋白质结构预测、药物发现等。难度级别的划分需要根据任务的复杂性和所需知识的深度来确定。此外，计算工具的集成也是一个关键设计，它可以帮助LLM更好地理解生物分子数据并生成更准确的预测。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，思维链数据对生物任务的帮助有限，甚至可能降低性能。混合Mamba-Attention架构在处理长生物分子序列时表现更佳。监督微调虽然提高了专业化能力，但牺牲了泛化性。LLM在分类任务上表现良好，但在回归任务上仍有提升空间。BioMol-LLM-Bench提供了一个全面评估LLM生物分子建模能力的平台。

🎯 应用场景

该研究成果可应用于生物医药领域，例如药物发现、蛋白质工程和基因组学研究。通过利用LLM进行生物分子建模，可以加速药物研发过程，设计更有效的蛋白质，并深入理解基因组的复杂性。未来的研究可以进一步探索如何优化LLM的架构和训练策略，以提高其在生物分子建模中的性能。

📄 摘要（原文）

The modeling of bio-molecular system across molecular scales remains a central challenge in scientific research. Large language models (LLMs) are increasingly applied to bio-molecular discovery, yet systematic evaluation across multi-scale biological problems and rigorous assessment of their tool-augmented capabilities remain limited. We reveal a systematic gap between LLM performance and mechanistic understanding through the proposed cross-scale bio-molecular benchmark: BioMol-LLM-Bench, a unified framework comprising 26 downstream tasks that covers 4 distinct difficulty levels, and computational tools are integrated for a more comprehensive evaluation. Evaluation on 13 representative models reveals 4 main findings: chain-of-thought data provides limited benefit and may even reduce performance on biological tasks; hybrid mamba-attention architectures are more effective for long bio-molecular sequences; supervised fine-tuning improves specialization at the cost of generalization; and current LLMs perform well on classification tasks but remain weak on challenging regression tasks. Together, these findings provide practical guidance for future LLM-based modeling of molecular systems.