LatentChem: From Textual CoT to Latent Thinking in Chemical Reasoning

📄 arXiv: 2602.07075v1 📥 PDF

作者: Xinwu Ye, Yicheng Mao, Jia Zhang, Yimeng Liu, Li Hao, Fang Wu, Zhiwei Li, Yuxuan Liao, Zehong Wang, Zhiyuan Liu, Zhenfei Yin, Li Yuan, Philip Torr, Huan Sun, Xiangxiang Zeng, Mengdi Wang, Le Cong, Shenghua Gao, Xiangru Tang

分类: physics.chem-ph, cs.AI, cs.CL, cs.LG

发布日期: 2026-02-06

💡 一句话要点

提出LatentChem，通过隐空间推理提升化学大模型效率与性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 化学推理 大语言模型 隐空间表示 思维链 模型加速 涌现行为 化学计算

📋 核心要点

  1. 现有化学大模型依赖显式思维链，将连续的化学推理强制转换为离散文本，导致效率和性能受限。
  2. LatentChem将化学计算与文本生成解耦，在连续隐空间中进行多步推理，仅在最终输出时生成文本。
  3. 实验表明，LatentChem在ChemCoTBench上显著优于CoT基线，胜率提升59.88%，推理速度提升10.84倍。

📝 摘要（中文）

化学大语言模型（LLMs）主要依赖于自然语言中的显式思维链（CoT）来执行复杂的推理。然而，化学推理本质上是连续的和结构化的，将其强制转换为离散的语言token会引入根本性的表示不匹配，从而限制效率和性能。我们引入了LatentChem，一种隐式推理接口，它将化学计算与文本生成分离，使模型能够在连续隐空间中直接执行多步推理，仅在最终输出时才生成语言。值得注意的是，我们观察到一种一致的涌现行为：当仅针对任务成功进行优化时，模型会自发地内化推理，逐渐放弃冗长的文本推导，转而支持隐式隐空间计算。这种转变不仅仅是风格上的，而且在计算上是有利的。在各种化学推理基准测试中，LatentChem在ChemCoTBench上实现了比强大的基于CoT的基线高59.88%的非平局胜率，同时提供了10.84倍的平均推理加速。我们的结果提供了经验证据，表明化学推理更自然、更有效地实现为连续隐空间动态，而不是离散的语言轨迹。

🔬 方法详解

问题定义：现有化学大语言模型在进行复杂推理时，依赖于显式的自然语言思维链（CoT）。这种方法将化学推理这种本质上连续和结构化的过程，强制转换为离散的语言token，造成了表示上的不匹配。这种不匹配限制了模型的推理效率和性能，使得模型难以充分利用化学领域的内在结构信息。

核心思路：LatentChem的核心思路是将化学计算与文本生成解耦。模型不再需要通过显式的自然语言来表达每一步的推理过程，而是在一个连续的隐空间中进行多步推理。只有在需要生成最终输出时，模型才会将隐空间中的表示解码为自然语言。这种方法允许模型更自然地处理化学推理的连续性和结构性，从而提高效率和性能。

技术框架：LatentChem的技术框架包含两个主要部分：隐空间推理模块和文本生成模块。隐空间推理模块负责在连续的隐空间中进行多步推理，它接收输入并将其编码到隐空间中，然后在隐空间中进行一系列的变换，最终得到推理结果的隐空间表示。文本生成模块负责将隐空间中的推理结果解码为自然语言，它接收隐空间表示作为输入，并生成最终的文本输出。这两个模块可以独立进行优化，从而使得模型能够更好地学习化学推理的内在结构。

关键创新：LatentChem最重要的技术创新点在于它将化学推理从离散的语言空间转移到了连续的隐空间。这种转变使得模型能够更自然地处理化学推理的连续性和结构性，避免了显式思维链带来的表示不匹配问题。此外，LatentChem还观察到了一种涌现行为，即当模型仅针对任务成功进行优化时，它会自发地内化推理过程，逐渐放弃冗长的文本推导，转而支持隐式隐空间计算。

关键设计：LatentChem的关键设计包括隐空间的维度、隐空间推理模块的网络结构、文本生成模块的网络结构以及损失函数的设计。隐空间的维度需要足够大，以便能够充分表示化学推理的复杂性。隐空间推理模块可以使用各种神经网络结构，例如循环神经网络（RNN）或Transformer。文本生成模块可以使用各种序列到序列模型，例如Seq2Seq或Transformer。损失函数需要能够同时优化隐空间推理模块和文本生成模块，例如可以使用交叉熵损失函数或最大似然估计。

📊 实验亮点

LatentChem在ChemCoTBench基准测试中表现出色，相较于强大的CoT基线，取得了59.88%的非平局胜率，并且实现了10.84倍的平均推理速度提升。这些结果表明，LatentChem能够更有效地进行化学推理，并且具有更高的效率。此外，研究还观察到模型在优化过程中会自发地内化推理过程，进一步提升了模型的性能。

🎯 应用场景

LatentChem在化学研究领域具有广泛的应用前景，例如药物发现、材料设计和反应预测。它可以帮助研究人员更高效地进行化学推理，加速新材料和新药物的开发。此外，LatentChem还可以应用于化学教育领域，帮助学生更好地理解化学概念和原理。未来，该技术有望推动化学领域的自动化和智能化发展。

📄 摘要（原文）

Chemical large language models (LLMs) predominantly rely on explicit Chain-of-Thought (CoT) in natural language to perform complex reasoning. However, chemical reasoning is inherently continuous and structural, and forcing it into discrete linguistic tokens introduces a fundamental representation mismatch that constrains both efficiency and performance. We introduce LatentChem, a latent reasoning interface that decouples chemical computation from textual generation, enabling models to perform multi-step reasoning directly in continuous latent space while emitting language only for final outputs. Remarkably, we observe a consistent emergent behavior: when optimized solely for task success, models spontaneously internalize reasoning, progressively abandoning verbose textual derivations in favor of implicit latent computation. This shift is not merely stylistic but computationally advantageous. Across diverse chemical reasoning benchmarks, LatentChem achieves a 59.88\% non-tie win rate over strong CoT-based baselines on ChemCoTBench, while delivering a 10.84$\times$ average inference speedup. Our results provide empirical evidence that chemical reasoning is more naturally and effectively realized as continuous latent dynamics rather than discretized linguistic trajectories.