Are Linguistic and Arithmetic Circuits Dissociated in LLMs?

📄 arXiv: 2610.27790v1 📥 PDF

作者: Riku Kisako, Tatsuki Kuribayashi, Ryohei Sasano

分类: cs.CL

发布日期: 2026-10-20

备注: AACL-IJCNLP 2026 main

💡 一句话要点

探讨大语言模型中语言与算术电路的分离性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 神经电路 语言处理 算术处理 模块化组织 电路发现 因果关系

📋 核心要点

  1. 现有研究未能明确区分大型语言模型中语言处理与算术处理的神经电路，导致理解其内部机制的困难。
  2. 本文通过控制材料和电路发现方法，探讨语言与算术任务电路之间的重叠与因果关系，揭示其模块化特性。
  3. 实验结果表明，电路相似性主要由任务领域决定，强调了LLMs在处理不同类型信息时的电路分离性。

📝 摘要（中文）

大型语言模型（LLMs）展现出语言知识和通过语言执行任务的能力，例如数学问题求解。受神经语言学研究的启发，本文研究了LLMs中语言与算术电路的重叠情况。通过对五个LLMs的实验，发现电路相似性主要由任务领域（语言与算术）解释，而非输入输出词汇或自然语言句子与算术表达式的句法相似性。这一发现表明，LLMs可能使用相对独立的神经电路处理语言和算术信息，突显了这些模型中基于能力的电路模块化组织。

🔬 方法详解

问题定义：本文旨在解决大型语言模型中语言与算术电路是否分离的问题，现有方法未能有效揭示其内部电路的独立性和重叠性。

核心思路：通过对五个LLMs进行实验，使用控制材料和电路发现方法，分析语言与算术任务的电路重叠及其因果关系，探讨其模块化特征。

技术框架：研究采用了电路发现方法，首先提取语言和算术任务的电路，然后比较其相似性，分析影响因素。主要模块包括电路提取、相似性分析和因果关系评估。

关键创新：本研究的创新点在于揭示了LLMs中语言与算术电路的分离性，挑战了传统观点，强调了任务领域对电路相似性的主导作用。

关键设计：实验中采用了标准化的任务材料，确保输入输出的一致性，并通过多种电路发现技术确保结果的可靠性与有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，五个LLMs在语言与算术任务的电路相似性分析中，主要由任务领域决定，输入输出的词汇和句法相似性对电路重叠的影响较小。这一发现强调了LLMs的模块化电路组织特性。

🎯 应用场景

该研究为理解大型语言模型的内部机制提供了新的视角，潜在应用于教育、智能问答系统和人机交互等领域。通过明确电路的分离性，可以优化模型设计，提高其在特定任务上的表现。

📄 摘要（原文）

Large language models (LLMs) exhibit both knowledge of language, rendered by, for example, grammatical judgment ability, and abilities to perform tasks through language, such as math-word problem solving. Motivated by neurolinguistic studies of their neural dissociation in human brains, in this study, we investigate the overlap of their circuits in large language models (LLMs). Specifically, we examine the overlap and causal effects between the circuits extracted for linguistic and arithmetic tasks, using controlled materials and circuit discovery methods from the mechanistic interpretability field. Our experiments with five LLMs show that circuit similarity is mostly explained by task domains (linguistic vs. arithmetic), rather than by their input and output vocabularies or by the syntactic similarities between natural-language sentences and arithmetic expressions. This finding suggests that LLMs may process linguistic and arithmetic information using largely separate neural circuits, highlighting an ability-based modular organization of circuits within these models.