FREA: A Multi-Source Expert Benchmark for Reaction Feasibility Verification
作者: Botao Yu, Bo Zhou, Daniel Adu-Ampratwum, Frazier N. Baker, Ziru Chen, Reza Averly, Ye Liu, Wenhao Gao, Xia Ning, Huan Sun
分类: cs.AI
发布日期: 2026-10-05
备注: Ongoing work
💡 一句话要点
提出FREA基准以验证化学反应的可行性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 化学反应 可行性验证 生成模型 专家标注 逆合成 负样本生成 数据集
📋 核心要点
- 现有的反应可行性验证方法在不同候选来源上表现不一致，缺乏统一的评估标准。
- FREA基准通过专家标注的反应数据，提供了一个多来源的验证框架，旨在提升反应可行性验证的准确性。
- 实验结果表明，添加生成的负样本可以提高验证性能，但在逆合成提案中未能延续这种提升。
📝 摘要（中文）
随着生成模型和人工智能代理提出的化学反应超出专家审查的规模，反应可行性验证者决定哪些提案进入合成规划。我们引入FREA，一个包含751个反应的基准，依据明确的可行性标准由专家化学家标注，涵盖了逆合成模型提案、零产率实验记录、大型语言模型的编辑以及五种负候选生成方法。评估结果显示，没有任何验证者在所有来源中表现最佳：仅依据标准的LLMs与专用验证者竞争，而前向模型在逆合成提案中表现最佳，但在评估的操作点上拒绝了大多数可行的实验记录编辑。我们还发布了超过1400万条记录反应和生成负候选的语料库，以研究负监督是否能解决这些弱点。
🔬 方法详解
问题定义：本论文旨在解决化学反应可行性验证中的一致性和准确性问题，现有方法在不同来源的候选反应上表现不佳，缺乏有效的评估机制。
核心思路：提出FREA基准，通过专家标注的反应数据，涵盖多种候选来源，旨在为反应可行性验证提供更全面的评估标准和数据支持。
技术框架：整体架构包括数据收集、专家标注、反应验证模型训练和评估四个主要模块。数据来源包括逆合成模型提案、零产率实验记录和负候选生成。
关键创新：FREA基准的最大创新在于其多来源的反应数据集，结合了专家标注和多种生成方法，提供了更为全面的验证基础，与现有单一来源的验证方法形成鲜明对比。
关键设计：在模型训练中，采用混合生成负样本的策略，优化了损失函数和网络结构，以提高模型在不同候选来源上的表现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，添加生成的负样本后，模型在多个来源上的平均AUROC显著提高，但在逆合成提案中未能延续这种提升。前向模型在逆合成提案中表现最佳，但在筛选可行编辑时表现低于随机水平，显示出当前方法的局限性。
🎯 应用场景
该研究的潜在应用领域包括化学合成规划、药物发现和材料科学等。通过提升反应可行性验证的准确性，FREA基准可以帮助化学家更有效地筛选反应提案，降低实验成本，提高研发效率，具有重要的实际价值和未来影响。
📄 摘要（原文）
As generative models and AI agents propose chemical reactions at a scale beyond expert review, feasibility verifiers decide which proposals enter synthesis planning. But do their decisions agree with chemists across different kinds of candidates? We introduce FREA, a benchmark of 751 reactions labeled by expert chemists under an explicit feasibility criterion, drawn from retrosynthesis model proposals, zero-yield experimental records, edits by large language models (LLMs), and five negative candidate generation methods. Our evaluation finds that no verifier leads across all sources: LLMs given only the criterion are competitive with dedicated verifiers, while forward models perform best on retrosynthesis proposals but reject most feasible edits of recorded reactions at the evaluated operating points. Looking beyond aggregate scores, both forward models perform below chance when separating infeasible alternative disconnections from feasible generated candidates. To study whether negative supervision addresses these weaknesses, we also release a corpus of over 14 million recorded reactions and generated negative candidates. In matched training comparisons, adding a mixture of generated negatives to forward training raises mean AUROC across sources, but these gains do not extend to retrosynthesis proposals. Varying the generation method further shows that the largest gain on generated candidates coincides with worse proposal screening. These findings motivate evaluating verifiers against experts across sources and designing negatives for transfer to model proposals.