FTB Graph: Determining and Validating First-token Broadcasters and Language-Identity Head Circuits in Multilingual Language Models

📄 arXiv: 2609.30954v1 📥 PDF

作者: Arjun Pillai, Christian Hoang, Anjelo Laroza

分类: cs.AI

发布日期: 2026-09-25

备注: 14 pages including supplementary material, 13 figures, 6 tables

💡 一句话要点

提出FTB图以解析多语言模型中的首个令牌广播机制

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言模型 因果电路 边缘归因修补 结构分析 语言身份决策

📋 核心要点

  1. 现有多语言模型在生成过程中对目标语言的识别机制尚不清晰，导致语言身份决策的因果电路未被充分映射。
  2. 本文通过边缘归因修补技术，提出了一种新的结构电路分析方法，能够提取和验证多种模型架构中的首个令牌广播电路。
  3. 实验结果表明，Pythia-2.8B和BLOOM-560M模型的广播中心表现突出，且Qwen2.5-1.5B模型在指令调优后保持了高相似度，验证了模型的有效性。

📝 摘要（中文）

在多语言环境中运行的大型语言模型必须在生成初期解决目标响应语言的问题，但支配首个令牌语言身份决策的因果电路尚不明确。本文提出了一种端到端的结构电路分析方法，涵盖六种模型架构，利用边缘归因修补（EAP）和精确激活修补验证，提取驱动首个令牌语言广播的有向无环图。实验结果显示，Pythia-2.8B和BLOOM-560M模型的广播中心证据最为强烈，且Qwen2.5-1.5B模型的电路在指令调优后保持了高相似度，表明首个令牌路由在预训练阶段已基本建立。

🔬 方法详解

问题定义：本文旨在解决多语言模型在生成过程中如何有效识别和广播首个令牌语言的问题。现有方法未能充分揭示这一因果电路的结构和功能，导致对语言身份决策的理解不足。

核心思路：论文提出了一种端到端的结构电路分析方法，利用边缘归因修补（EAP）和精确激活修补验证，提取驱动首个令牌语言广播的有向无环图，从而揭示模型内部的因果关系。

技术框架：整体流程包括边缘归因修补和激活修补验证两个主要阶段。首先，通过EAP技术识别关键边缘，然后进行激活修补验证，确保提取的电路结构的准确性。

关键创新：最重要的创新在于提出了边缘归因修补技术，结合精确激活修补验证，能够有效提取和验证多种模型架构中的首个令牌广播电路。这一方法与传统的模型分析方法相比，提供了更为精确的因果结构映射。

关键设计：在实验中，采用了FP16激活钳制技术，并设定了2000个候选边缘的搜索上限，以确保电路提取的高效性和准确性。同时，保持了相似的边缘预算以实现稀疏拓扑结构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Pythia-2.8B和BLOOM-560M模型的广播中心表现最为突出，且Qwen2.5-1.5B模型在指令调优后保持了84.7%的Jaccard相似度，表明首个令牌路由在预训练阶段已基本建立。此外，EAP分数与大多数模型的精确修补增量之间的相关性较弱，提示线性梯度近似可能与因果干预存在偏差。

🎯 应用场景

该研究的潜在应用领域包括多语言对话系统、跨语言信息检索和多语言文本生成等。通过深入理解多语言模型的语言身份决策机制，可以提升模型在实际应用中的表现，增强其适应性和准确性，未来可能推动更智能的多语言交互技术的发展。

📄 摘要（原文）

Large language models operating in multilingual contexts must resolve target response languages early in generation, yet the causal circuitry governing first-token language identity decisions remains poorly mapped. We present an end-to-end structural circuit analysis across six model architectures spanning four families: GPT-2, BLOOM-560M, Pythia-1B/2.8B, and Qwen2.5-1.5B Base/Instruct. Using Edge Attribution Patching (EAP) with FP16 active clamping, followed by exact activation patching verification with a 2,000-candidate-edge search ceiling, we extract directed acyclic graphs driving first-token language broadcasting. Across the standalone models, we observe deep or mid-to-deep broadcasting hubs, though the evidence is strongest for Pythia-2.8B and BLOOM-560M because GPT-2 and Pythia-1B leave few out-of-graph heads for comparison, while both Qwen2.5-1.5B variants invert the necessity check. Scaling from Pythia-1B to 2.8B expands node participation while maintaining a similar verified edge budget, producing sparser topology. The Qwen2.5-1.5B base and instruct circuits retain 84.7% Jaccard similarity, including the Layer 27 hub, indicating that first-token routing is largely established during pretraining and preserved by instruction tuning. Finally, EAP scores correlate weakly with exact patching deltas across most models, showing that linear gradient approximations can diverge from causal interventions in FP16 and motivating exact-patching verification for reliable circuit discovery.