Sparse Autoencoders Are a Shared Coordinate System for Symbolic Matching

📄 arXiv: 2610.19636v1 📥 PDF

作者: Xiaocong Yang, Xuanyu Meng, Yuji Zhang, Jiawei Han, ChengXiang Zhai

分类: cs.LG, cs.AI, cs.CL, cs.SC

发布日期: 2026-10-14

💡 一句话要点

提出SAE-IDF以解决符号匹配的可解释性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 神经符号模型 稀疏自编码器 符号匹配 可解释性 自然语言处理 知识图谱 智能问答

📋 核心要点

  1. 现有神经符号模型通常依赖人工构建符号基础，限制了其适用范围和可扩展性。
  2. 本文提出SAE-IDF方法，通过稀疏自编码器将符号编码为稀疏代码，并根据稀有性进行加权，从而实现跨系统的符号匹配。
  3. 在12个任务中，SAE-IDF在所有任务上超越了相同LLM的稠密基线，提升幅度最高可达45分，且具有良好的可解释性。

📝 摘要（中文）

大型语言模型（LLMs）在单一权重下拥有广泛知识，但在高风险应用中缺乏可解释性和可信推理。神经符号模型因其可解释架构和系统2推理能力而成为有前景的替代方案，但其符号基础通常依赖人工构建，限制了现有神经符号模型的适用范围。本文提出了一种数据驱动的方法，通过对现有符号系统进行对齐和合并，构建更大的符号系统。我们的方法SAE-IDF通过稀疏自编码器（SAE）将符号编码为稀疏代码，并根据稀有性重新加权每个维度，从而实现跨系统匹配。在12个任务中，SAE-IDF在所有任务上均超越了相同LLM的稠密基线，提升幅度最高可达45分，且每个稀疏代码维度具有可读的含义，促进了可解释性。我们的工作为通用符号基础奠定了基础。

🔬 方法详解

问题定义：本文旨在解决现有神经符号模型在符号匹配中的局限性，尤其是其符号基础的构建依赖人工，导致适用范围狭窄和可扩展性不足。

核心思路：我们提出的SAE-IDF方法通过稀疏自编码器（SAE）将符号在其原生上下文中编码为稀疏代码，并根据符号的稀有性对每个维度进行加权，以实现跨不同符号系统的匹配。

技术框架：SAE-IDF的整体架构包括三个主要模块：首先，使用稀疏自编码器对符号进行编码；其次，根据稀有性对编码结果进行加权；最后，进行跨系统的符号匹配。

关键创新：SAE-IDF的主要创新在于其通过稀疏编码实现了符号的可解释性，每个稀疏代码的维度都具有可读的含义，从而使得匹配结果可以分解为具体的命名概念。与现有方法相比，SAE-IDF在符号匹配的可解释性和性能上均有显著提升。

关键设计：在技术细节上，SAE的网络结构经过精心设计，以确保稀疏性和可解释性；损失函数的选择也考虑了稀疏性和匹配精度的平衡，确保了模型的有效性和稳定性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在实验中，SAE-IDF在12个任务上均超越了相同LLM的稠密基线，提升幅度最高可达45分，且在Gemma-2-9B上所有任务均表现优异，在Llama-3.1-8B上仅有一项任务未超越基线，展现了其强大的性能和一致性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、知识图谱构建和智能问答系统等。通过提供可解释的符号匹配机制，SAE-IDF能够帮助开发更具透明度和可信度的AI系统，尤其是在高风险场景下的应用，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language models (LLMs) hold broad knowledge in one set of weights, but lack interpretability and trustworthy reasoning, especially in high-stakes use cases. A neuro-symbolic model, with its interpretable architecture and System 2 reasoning capacity, is a promising alternative if built at the scale of LLMs; however, its symbolic backbone is usually constructed with human effort, so existing neuro-symbolic models are bottlenecked by the scope of the symbol component and usually domain-specific. A data-driven method could instead build a larger symbolic system by aligning and merging existing ones. We target its first, foundational step: matching units across these heterogeneous systems. Our method, SAE-IDF, encodes a symbol in its native context into a sparse code with a sparse autoencoder (SAE), re-weights each dimension by its rarity and matches across systems. On 12 tasks across 6 kinds of symbolic system, SAE-IDF outperforms the same LLM's dense baseline on all tasks with Gemma-2-9B and all but one with Llama-3.1-8B, by up to 45 points, consistently across SAE layers and configurations. SAE-IDF is also interpretable: every dimension of the sparse code has a human-readable meaning, so each match decomposes into named concepts (features). Our work paves the way to a universal symbolic backbone.