Fault-tolerant foundation models
作者: Trevor McCourt, Ila R. Fiete, Isaac L. Chuang
分类: cs.LG, cs.AI, cs.AR
发布日期: 2026-10-07
💡 一句话要点
提出容错基础模型以应对不可靠硬件问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 容错模型 大型语言模型 能效优化 故障硬件 错误恢复能力
📋 核心要点
- 现有计算硬件在能效与可靠性之间存在权衡，导致模型在不可靠环境下的表现不佳。
- 本文提出通过训练大型语言模型使其具备容错能力，从而在不可靠硬件上运行时仍能保持性能。
- 实验结果表明，随着模型规模的增加，其错误恢复能力显著提升，支持了模型在故障硬件上运行的可行性。
📝 摘要（中文）
随着新兴计算硬件在能效与可靠性之间的权衡，本文展示了大型语言模型（LLMs）可以被训练以容忍这种不可靠性。研究表明，随着模型规模的增加，其错误恢复能力实际上会增强。通过对40000 GPU小时的模拟故障数字硬件训练运行进行分析，推导出修改后的神经网络扩展法则，量化了这一趋势，并提出模型能够在“良好”的纠错码内进行计算。由此推测，适当训练的LLMs可能具备正式的容错能力，这一发现为在低能耗、故障硬件上运行AI推理提供了可行的节能路径。
🔬 方法详解
问题定义：本文旨在解决在新兴计算硬件中，由于不可靠性导致的模型性能下降问题。现有方法在面对故障硬件时，往往无法保持稳定的推理能力。
核心思路：论文的核心思路是训练大型语言模型，使其能够容忍硬件故障，并在此过程中增强其错误恢复能力。通过这种方式，模型能够在不可靠的计算环境中有效运行。
技术框架：研究采用了修改后的神经网络扩展法则，基于40000 GPU小时的训练数据，分析模型在故障硬件下的表现。整体流程包括数据生成、模型训练和性能评估三个主要阶段。
关键创新：最重要的技术创新在于发现模型在训练过程中能够学习到在“良好”纠错码内进行计算的能力。这一发现与现有方法的本质区别在于，传统方法未能考虑模型在故障环境中的适应性。
关键设计：在模型训练中，采用了特定的损失函数和网络结构，以增强模型对错误的容忍度。具体参数设置和训练策略的细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，随着模型规模的增加，其错误恢复能力提升了显著，具体性能数据表明在故障环境下模型的表现优于传统方法，支持了在低能耗硬件上运行的可行性。
🎯 应用场景
该研究的潜在应用领域包括低能耗计算、边缘计算和物联网设备等场景。通过在不可靠硬件上运行AI推理，能够显著降低能耗，提高系统的整体效率，具有重要的实际价值和未来影响。
📄 摘要（原文）
Emerging computer hardware often trades reliability for energy efficiency; here we show that large-language models (LLMs) can be trained to tolerate this unreliability, and that rather than degrading, their error resilience actually increases as they grow. Modified neural scaling laws inferred from 40,000 GPU-hours of training runs on simulated faulty digital hardware quantify this trend and suggest that models learn to compute within "good" error-correcting codes, whose relative overhead remains finite no matter how large the model gets. This finding leads us to conjecture that appropriately trained LLMs may be formally fault-tolerant; if true, running AI inference on low energy, faulty hardware may be a path to substantial energy savings over the status quo.