In-Context Source and Channel Coding

📄 arXiv: 2601.10267v1 📥 PDF

作者: Ziqiong Wang, Tianqi Ren, Rongpeng Li, Zhifeng Zhao, Honggang Zhang

分类: cs.LG

发布日期: 2026-01-15

💡 一句话要点

提出In-Context解码框架，提升LLM驱动的算术编码在低信噪比下的文本传输鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信源信道编码 算术编码 大型语言模型 低信噪比 上下文解码

📋 核心要点

  1. 传统分离信源信道编码在低信噪比下存在“悬崖效应”，残余比特错误会导致算术解码失败，尤其是在LLM驱动的场景下。
  2. 论文提出In-Context解码框架，利用误差校正码Transformer获取比特可靠性，并结合LLM进行上下文一致的解码。
  3. 实验表明，该方法在AWGN和瑞利衰落信道上，相比传统SSCC和JSCC方案，均能获得显著的性能提升。

📝 摘要（中文）

分离信源信道编码(SSCC)因其模块化特性以及与成熟的熵编码器和强大的信道编码的兼容性，在文本传输中仍然具有吸引力。然而，SSCC在低信噪比(SNR)下常常遭受明显的悬崖效应，信道解码后的残余比特错误可能会灾难性地破坏无损信源解码，特别是对于由大型语言模型(LLM)驱动的算术编码(AC)。本文提出了一种接收器侧的In-Context解码(ICD)框架，该框架增强了SSCC的鲁棒性，而无需修改发射器。ICD利用误差校正码Transformer(ECCT)来获得解码信息比特的逐位可靠性。基于上下文一致的比特流，ICD通过可靠性引导的比特翻转构建一个置信度排序的候选池，采样一个紧凑而多样化的候选子集，并应用基于LLM的算术解码器来获得重建和序列级对数似然。然后，可靠性-似然融合规则选择最终输出。我们进一步提供了所提出的抽样过程的稳定性和收敛性的理论保证。在加性高斯白噪声(AWGN)和瑞利衰落信道上的大量实验表明，与传统的SSCC基线和代表性的联合信源信道编码(JSCC)方案相比，该方法具有持续的增益。

🔬 方法详解

问题定义：论文旨在解决在低信噪比环境下，使用分离信源信道编码（SSCC）传输文本时，由于信道解码后的残余比特错误导致基于大型语言模型（LLM）的算术编码（AC）解码失败的问题。现有方法的痛点在于，SSCC对信道错误非常敏感，尤其是在低信噪比下，即使少量的比特错误也可能导致解码完全失败，产生“悬崖效应”。

核心思路：论文的核心思路是在接收端利用上下文信息进行纠错，即In-Context解码（ICD）。通过分析信道解码后比特流的可靠性，并结合LLM的语言模型能力，生成多个候选解码结果，并从中选择最有可能的正确结果。这种方法的核心在于利用LLM的先验知识来纠正信道错误，从而提高整体的鲁棒性。

技术框架：ICD框架主要包含以下几个模块：1) 误差校正码Transformer (ECCT)：用于估计解码后比特流的逐位可靠性。2) 候选池构建：基于比特可靠性，通过比特翻转生成多个候选比特流。3) 候选子集采样：从候选池中选择一个紧凑且多样化的子集，降低计算复杂度。4) LLM算术解码器：使用LLM驱动的算术解码器对每个候选比特流进行解码，并计算序列级对数似然。5) 可靠性-似然融合：结合比特可靠性和序列似然，选择最终的解码结果。

关键创新：该方法最重要的创新点在于将信道解码的可靠性信息与LLM的语言模型能力相结合，实现上下文感知的纠错。与传统的SSCC方法相比，ICD能够利用LLM的先验知识来纠正信道错误，从而提高整体的鲁棒性。与联合信源信道编码（JSCC）相比，ICD无需修改发射端，具有更好的兼容性。

关键设计：ECCT的具体网络结构未知，但其目标是预测每个比特的可靠性。候选子集采样的具体算法未知，但需要保证子集的紧凑性和多样性。可靠性-似然融合的具体规则未知，但需要平衡比特可靠性和序列似然之间的权重。论文提供了采样过程的稳定性和收敛性的理论保证，但具体细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在AWGN和瑞利衰落信道上，所提出的ICD框架相比传统的SSCC基线和代表性的JSCC方案，均能获得显著的性能提升。具体的性能数据未知，但摘要中明确指出是“consistent gains”，表明该方法具有普遍的有效性。

🎯 应用场景

该研究成果可应用于各种需要可靠文本传输的场景，尤其是在低信噪比或信道条件恶劣的环境中，例如无线通信、卫星通信和深空通信。通过提高文本传输的鲁棒性，可以确保信息的准确传递，从而提升通信系统的整体性能和用户体验。此外，该方法无需修改发射端，易于部署和应用。

📄 摘要（原文）

Separate Source-Channel Coding (SSCC) remains attractive for text transmission due to its modularity and compatibility with mature entropy coders and powerful channel codes. However, SSCC often suffers from a pronounced cliff effect in low Signal-to-Noise Ratio (SNR) regimes, where residual bit errors after channel decoding can catastrophically break lossless source decoding, especially for Arithmetic Coding (AC) driven by Large Language Models (LLMs). This paper proposes a receiver-side In-Context Decoding (ICD) framework that enhances SSCC robustness without modifying the transmitter. ICD leverages an Error Correction Code Transformer (ECCT) to obtain bit-wise reliability for the decoded information bits. Based on the context-consistent bitstream, ICD constructs a confidence-ranked candidate pool via reliability-guided bit flipping, samples a compact yet diverse subset of candidates, and applies an LLM-based arithmetic decoder to obtain both reconstructions and sequence-level log-likelihoods. A reliability-likelihood fusion rule then selects the final output. We further provide theoretical guarantees on the stability and convergence of the proposed sampling procedure. Extensive experiments over Additive White Gaussian Noise (AWGN) and Rayleigh fading channels demonstrate consistent gains compared with conventional SSCC baselines and representative Joint Source-Channel Coding (JSCC) schemes.