Contextual Memory-Enhanced Source Coding for Low-SNR Communications

📄 arXiv: 2605.04400v1 📥 PDF

作者: Ziqiong Wang, Rongpeng Li

分类: cs.IT, cs.LG

发布日期: 2026-05-06

💡 一句话要点

提出记忆增强的信源编码MASC，提升低信噪比通信下文本传输的鲁棒性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信源编码 信道编码 低信噪比通信 上下文记忆 专家路由

📋 核心要点

  1. 传统分离信源信道编码在低信噪比下，信源解码对信道残余错误敏感，导致文本传输鲁棒性差。
  2. 提出记忆增强信源编码MASC，将上下文模式融入共享信源模型，自适应激活相关记忆以优化概率估计。
  3. 实验表明，MASC在瑞利衰落和AWGN信道下，相比现有方法，能有效提升文本传输的鲁棒性。

📝 摘要（中文）

在噪声文本传输中，分离信源信道编码(SSCC)虽然具有模块化设计的实用优势，但其有效性受到自回归信源解码脆弱性的根本限制。在低信噪比(SNR)情况下，即使信道解码后存在少量残余比特错误，也可能破坏后续的无损重构过程，特别是当算术编码(AC)依赖于基于大型语言模型(LLM)的概率估计时。现有的补救措施要么仅基于信道观测来加强信道解码，要么仅在接收器端引入上下文信息进行事后校正，但都不能完全解决信源概率建模在残余信道错误下的脆弱性。为此，本文提出了一种用于鲁棒SSCC传输的记忆增强信源编码(MASC)方案。MASC不是将上下文视为外部辅助信息，而是将上下文模式内在化到发射端信源编码器和接收端信源解码器共享的信源模型中。具体来说，MASC采用共享的参数化上下文记忆(PCM)来编码多阶n-gram模式，并进一步引入混合记忆专家路由(MMER)来在自回归信源建模期间对记忆专家执行稀疏的、隐状态相关的路由。通过在每个编码步骤自适应地激活最相关的记忆，MASC细化了信源概率估计，缩短了平均码长，并减轻了信源解码对残余信道错误的敏感性。在瑞利衰落和AWGN信道上的大量实验证明了该方案相对于最先进方法的有效性。

🔬 方法详解

问题定义：论文旨在解决低信噪比通信环境下，基于分离信源信道编码（SSCC）的文本传输系统中，信源解码器对信道残余错误高度敏感的问题。现有方法主要集中在增强信道解码或在接收端进行后处理，未能从根本上解决信源概率建模的脆弱性，导致即使少量比特错误也可能导致解码失败。

核心思路：论文的核心思路是将上下文信息内化到信源模型中，而不是将其视为外部辅助信息。通过构建一个发射端和接收端共享的参数化上下文记忆（PCM），模型能够学习并存储多阶n-gram模式。在解码过程中，通过混合记忆专家路由（MMER）机制，自适应地选择最相关的记忆进行概率估计，从而提高信源解码的鲁棒性。

技术框架：MASC方案的整体框架包括以下几个主要模块：1) 参数化上下文记忆（PCM）：用于存储多阶n-gram模式的记忆库。2) 混合记忆专家路由（MMER）：根据隐状态动态选择激活哪些记忆专家。3) 算术编码器/解码器：基于MMER输出的概率分布进行编码和解码。整个流程是，编码器首先利用MMER从PCM中选择相关记忆，然后基于选择的记忆进行概率估计，最后使用算术编码器进行编码。解码器执行相反的操作。

关键创新：MASC的关键创新在于将上下文记忆和专家路由机制引入到信源编码中。与传统方法不同，MASC不是简单地将上下文作为外部信息，而是将其融入到信源模型的内部，使得模型能够自适应地利用上下文信息进行概率估计。MMER的设计允许模型在不同的上下文之间进行平滑切换，从而提高了模型的泛化能力和鲁棒性。

关键设计：PCM的设计需要考虑记忆容量和计算复杂度之间的平衡。MMER的关键在于如何设计路由机制，使得模型能够有效地选择最相关的记忆专家。论文中可能涉及的关键参数包括：PCM的容量大小、n-gram的阶数、MMER中专家数量、路由网络的结构和参数、以及训练过程中使用的损失函数等。具体数值未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过在瑞利衰落和AWGN信道上进行实验，验证了MASC方案的有效性。实验结果表明，相比于现有的信源编码方法，MASC能够显著提高文本传输的鲁棒性，降低误码率。具体的性能提升幅度未知，但摘要中强调了其相对于最先进方法的有效性。

🎯 应用场景

该研究成果可应用于低信噪比环境下的文本通信，例如在无线传感器网络、水声通信、深空通信等场景中，可以提高文本传输的可靠性和效率。此外，该方法还可以扩展到其他类型的信源编码，例如图像和视频编码，以提高在恶劣信道条件下的传输性能。未来可能应用于星间通信，水下通信等。

📄 摘要（原文）

While Separate Source-Channel Coding (SSCC) retains the practical benefits of modular system design, its effectiveness in noisy text transmission is fundamentally constrained by the fragility of autoregressive source decoding. In low-SNR regimes, even a small number of residual bit errors after channel decoding may derail the subsequent lossless reconstruction process, especially when Arithmetic Coding (AC) relies on Large Language Model (LLM)-based probability estimation. Existing remedies either strengthen channel decoding based solely on channel observations or introduce contextual information only at the receiver for post-hoc correction, yet neither fully addresses the fragility of source probability modeling under residual channel errors. To this end, this paper proposes a Memory-Augmented Source Coding (MASC) scheme for robust SSCC-based transmission. Rather than treating context as external side information, MASC internalizes contextual patterns into a source model shared by both the transmitter-side source encoder and the receiver-side source decoder. Specifically, MASC employs a shared Parameterized Contextual Memory (PCM) to encode multi-order $n$-gram patterns, and further introduces a Mixture-of-Memory-Experts Router (MMER) to perform sparse, hidden-state-dependent routing over memory experts during autoregressive source modeling. By adaptively activating only the most relevant memories at each coding step, MASC refines source probability estimation, shortens average codelength, and mitigates the sensitivity of source decoding to residual channel errors. Extensive experiments over Rayleigh fading and AWGN channels demonstrate the effectiveness of the proposed scheme compared with state-of-the-art methods.