Executing Causal Structure Learning with Linear-Attention Transformers
作者: Amartya Roy, Sayar Karmakar
分类: cs.LG
发布日期: 2026-10-07
备注: 32 pages, 8 Figures
💡 一句话要点
提出线性注意力变换器以执行因果结构学习
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 因果发现 变换器 机器学习 图结构 算法执行 精确度 深度学习
📋 核心要点
- 现有的因果发现方法在执行算法时存在准确性不足的问题，尤其是在处理复杂图结构时。
- 本文提出了一种固定权重的变换器，通过其前向传播过程精确重现因果图更新，确保了算法的执行精度。
- 实验结果显示，构建的变换器模块在浮点精度上与参考更新一致，且在多种基准测试中表现出色，超越了普通注意力模型。
📝 摘要（中文）
本文探讨了变换器是否能够在输入数据上执行因果发现算法。研究中构建了一个固定权重的变换器，其前向传播过程精确重现了一个标准的连续因果图更新方法。该变换器在更新之间携带当前图和算法的乘子，保留乘子对精确执行至关重要。实验结果表明，构建的模块在浮点精度上与参考更新一致，并在合成数据和七个已发布的基准网络拓扑上继承了参考求解器的成功与失败。这一研究将准确的算法执行与因果恢复的准确性区分开来。
🔬 方法详解
问题定义：本文旨在解决变换器在因果发现中的执行能力不足的问题。现有方法在处理复杂因果图时，更新过程的准确性和稳定性存在挑战。
核心思路：论文的核心思路是构建一个固定权重的变换器，使其前向传播能够精确重现因果图的更新过程。通过保留算法的乘子，确保每次更新的准确性。
技术框架：整体架构包括一个固定权重的变换器模块，该模块在每次更新中携带当前的因果图和乘子。通过重复块的方式，变换器能够模拟算法的优化轨迹。
关键创新：最重要的创新在于通过变换器实现了因果图更新的精确执行，这与传统的注意力模型形成了鲜明对比，后者在执行更新时表现不稳定。
关键设计：关键设计包括固定权重的变换器结构、乘子的保留机制，以及在固定阶段内计算达到目标精度所需更新次数的条件设定。
🖼️ 关键图片
📊 实验亮点
实验结果表明，构建的变换器模块在浮点精度上与参考更新一致，且在合成数据和七个基准网络拓扑上表现出色，成功继承了参考求解器的优缺点。与普通注意力模型相比，变换器在更新执行的准确性和稳定性上有显著提升。
🎯 应用场景
该研究的潜在应用领域包括因果推断、决策支持系统和复杂网络分析等。通过提高因果发现的准确性，能够在医疗、经济和社会科学等领域产生深远影响，帮助研究人员更好地理解变量之间的因果关系。
📄 摘要（原文）
Transformers can execute algorithms on data given in their input. We ask whether they can do the same for causal discovery. We study a standard continuous method that repeatedly updates a candidate causal graph while enforcing acyclicity. We explicitly construct a fixed-weight transformer whose forward pass exactly reproduces one update of this method, so repeated blocks reproduce its optimization trajectory. The transformer carries the current graph and the algorithm's multiplier between updates. We show that retaining the multiplier is essential for exact execution, since different multiplier values can lead to different next updates. We also give conditions under which, within a fixed stage, the number of updates needed to reach a target accuracy can be computed in advance and rounding errors stay bounded as depth grows. Experiments show that the constructed block agrees with a reference update to floating-point precision, while arithmetic replay on synthetic data and seven published benchmark network topologies inherits the reference solver's successes and failures. This separates accurate algorithm execution from accurate causal recovery. In contrast, the ordinary attention models tested under our training budgets do not reliably execute the update or transfer to larger graphs. Whether gradient training can learn an executor in the architecture class of the construction remains open.