Silent Collapse in Recursive Learning Systems
作者: Zhipeng Zhang
分类: cs.LG
发布日期: 2026-05-14
💡 一句话要点
揭示递归学习系统中“静默崩溃”现象，提出MTR框架实现早期预警与主动预防。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 递归学习 静默崩溃 元认知学习 早期预警 自适应学习
📋 核心要点
- 递归学习中，模型在自身生成的数据上训练，易发生“静默崩溃”，常规指标难以察觉。
- 论文提出MTR框架，通过监控模型内部状态变化，提前预警并主动调节学习强度。
- MTR框架无需原始数据，仅依赖模型自身轨迹信息，有效防止静默崩溃。
📝 摘要（中文）
递归学习，即模型在由其先前版本生成的数据上进行训练，在大型语言模型、自主代理和自监督系统中日益普遍。然而，标准的性能指标（损失、困惑度、准确率）通常无法在内部退化变得不可逆转之前检测到它。本文识别出一种称为“静默崩溃”的现象：在广泛的递归条件下，模型内部分布——预测熵、表征多样性和尾部覆盖率——逐渐收缩，即使传统指标看起来稳定或改善。我们发现静默崩溃不是突然发生的，它的发生可靠地先于三个轨迹级别的先兆：（1）锚熵的收缩，（2）表征漂移的冻结，以及（3）尾部覆盖率的侵蚀。这些信号在标准验证指标出现任何退化之前的多个世代就已显现，从而实现早期预警。基于这些先兆，我们提出了MTR（Monitor-Trust-Regulator）框架，这是一个轻量级的元认知循环，用于监控轨迹统计信息，估计慢时间尺度的信任变量，并自适应地调节有效学习强度。MTR提供早期预警并主动防止静默崩溃，而无需访问原始真实数据——当原始数据不可用、被污染或私有时，这是一个关键优势。
🔬 方法详解
问题定义：递归学习系统中，模型在自身生成的数据上迭代训练，容易出现“静默崩溃”现象。此时，虽然模型的损失、困惑度等常规指标可能保持稳定甚至有所提升，但模型内部的预测熵、表征多样性和尾部覆盖率等关键分布却逐渐收缩，导致模型性能退化。现有方法难以在早期阶段检测到这种内部退化，从而错失了修复机会。
核心思路：论文的核心思路是，通过监控模型训练轨迹中的特定统计量变化，来提前预警“静默崩溃”的发生。具体而言，论文发现锚熵的收缩、表征漂移的冻结以及尾部覆盖率的侵蚀是“静默崩溃”的早期先兆。基于这些先兆，论文设计了一个元认知循环，自适应地调节学习强度，从而主动防止“静默崩溃”。
技术框架：论文提出的MTR（Monitor-Trust-Regulator）框架包含三个主要模块：Monitor模块负责监控模型训练轨迹中的统计量，包括锚熵、表征漂移和尾部覆盖率等；Trust模块基于Monitor模块的输出，估计一个慢时间尺度的信任变量，该变量反映了模型当前状态的可靠程度；Regulator模块则根据Trust模块的输出，自适应地调节有效学习强度，从而避免模型过度自信或陷入局部最优。
关键创新：MTR框架的关键创新在于，它利用模型自身的训练轨迹信息，实现了对“静默崩溃”的早期预警和主动预防。与现有方法相比，MTR框架无需访问原始真实数据，这在原始数据不可用、被污染或私有时具有重要优势。此外，MTR框架通过元认知循环，实现了对学习过程的自适应调节，从而提高了模型的鲁棒性和泛化能力。
关键设计：MTR框架中的Monitor模块需要选择合适的统计量来监控模型状态。论文中选择了锚熵、表征漂移和尾部覆盖率作为监控指标。Trust模块的设计需要考虑如何将这些指标有效地融合为一个信任变量。论文中采用了一种基于滑动平均的方法来估计信任变量。Regulator模块的设计需要考虑如何根据信任变量来调节学习强度。论文中采用了一种基于指数衰减的学习率调节策略。
🖼️ 关键图片
📊 实验亮点
论文通过实验验证了MTR框架的有效性。实验结果表明，MTR框架能够在标准验证指标出现退化之前的多个世代就检测到“静默崩溃”的先兆，并主动调节学习强度，从而有效防止“静默崩溃”的发生。与没有MTR框架的基线模型相比，使用MTR框架的模型在递归学习过程中表现出更高的稳定性和更好的泛化能力。
🎯 应用场景
该研究成果可应用于各种递归学习系统，如大型语言模型、自主代理和自监督学习系统。通过MTR框架，可以有效预防模型在迭代训练过程中出现的“静默崩溃”现象，提高模型的稳定性和可靠性，尤其是在数据质量难以保证或原始数据不可获取的场景下，具有重要的应用价值。
📄 摘要（原文）
Recursive learning -- where models are trained on data generated by previous versions of themselves -- is increasingly common in large language models, autonomous agents, and self-supervised systems. However, standard performance metrics (loss, perplexity, accuracy) often fail to detect internal degradation before it becomes irreversible. Here we identify a phenomenon we call silent collapse: under broad recursive conditions, model internal distributions -- predictive entropy, representational diversity, and tail coverage -- progressively contract even as conventional metrics appear stable or improving. We discover that silent collapse is not abrupt. Its onset is reliably preceded by three trajectory-level precursors: (1) contraction of anchor entropy, (2) freezing of representation drift, and (3) erosion of tail coverage. These signals manifest multiple generations before any degradation in standard validation metrics, enabling early warning. Based on these precursors, we propose the MTR (Monitor--Trust--Regulator) framework, a lightweight metacognitive loop that monitors trajectory statistics, estimates a slow-timescale trust variable, and adaptively modulates the effective learning intensity. MTR provides early warning and actively prevents silent collapse without requiring access to pristine real data -- a critical advantage when original data is unavailable, contaminated, or private.