Predictive-State Communication: Innovation Coding and Reconciliation under Delay
作者: Ozgur Ercetin, Mohaned Chraiti
分类: cs.IT, cs.LG, cs.NI
发布日期: 2026-02-11
💡 一句话要点
提出预测状态通信，利用预测模型减少通信开销并容忍延迟
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 预测状态通信 创新编码 延迟容忍 模型预测 通信协议
📋 核心要点
- 传统通信理论在预测模型存在时效率降低，因为忽略了发送端和接收端之间的共享信息。
- 预测状态通信通过维护共享预测状态，仅传输创新信息，从而减少了通信开销。
- 该方法引入了感知-容量带的概念，考虑了延迟和感知连续性约束下的可行性。
📝 摘要（中文）
香农理论将通信建模为可靠的符号序列传输，其性能受限于信道容量和率失真。然而，当通信两端都具备强大的预测器（如大型语言模型和相关生成先验）时，直接传输符号不再是唯一的操作模式。本文提出预测状态通信（PSC），其中发送端和接收端维护一个显式的共享预测状态，物理信道主要用于传递创新信息，即校正信息，以协调接收端暂定的轨迹与发送端实现的轨迹。这种观点将熵率计算替换为模型不匹配下的交叉熵计算，并引入了依赖于容量、延迟和感知连续性要求的可行性约束；由此产生的操作集通常是一个有界的感知-容量带，而不是单边的阈值。我们概述了协议和架构影响（状态标识符、锚点、有界回滚和基于补丁的更新），并提供了一个程式化的示例来可视化诱导的可行区域及其对预测质量的依赖性。
🔬 方法详解
问题定义：传统通信模型将通信视为符号序列的可靠传输，忽略了通信双方可能拥有的强大预测能力。在拥有大型语言模型等预测器的现代系统中，直接传输符号序列效率低下。现有方法没有充分利用预测模型来减少通信开销，并且难以处理通信延迟带来的影响。
核心思路：核心思想是发送端和接收端维护一个共享的预测状态，并利用物理信道仅传输创新信息，即接收端预测与发送端实际状态之间的差异。通过这种方式，可以避免传输冗余信息，从而降低通信开销。这种方法类似于视频编解码中的帧间预测，但更加通用，适用于各种具有预测能力的系统。
技术框架：PSC协议包括以下几个关键组件：1) 状态标识符：用于同步发送端和接收端的状态。2) 锚点：用于在预测出现偏差时进行回滚。3) 有界回滚：限制回滚的范围，避免无限循环。4) 基于补丁的更新：仅传输预测错误的局部信息，而不是整个状态。整体流程是，接收端根据共享状态进行预测，然后发送端将实际状态与预测状态进行比较，并将创新信息通过物理信道发送给接收端，接收端根据创新信息更新其预测状态。
关键创新：最重要的创新在于将通信问题从传统的符号序列传输转变为预测状态的同步问题。通过利用预测模型，可以显著减少需要传输的信息量。此外，该方法还引入了感知-容量带的概念，将延迟和感知连续性纳入考虑，从而更好地适应实际应用场景。
关键设计：论文中提到了一些关键的设计元素，例如状态标识符的选择、锚点的设置策略、回滚范围的限制以及补丁的编码方式。这些设计细节直接影响了PSC的性能。此外，论文还强调了模型不匹配的影响，并提出了使用交叉熵来衡量模型不匹配程度的方法。具体的参数设置和网络结构在论文中没有详细描述，可能需要根据具体的应用场景进行调整。
🖼️ 关键图片
📊 实验亮点
论文通过一个程式化的例子展示了预测质量对可行区域的影响，可视化了感知-容量带。虽然没有提供具体的性能数据，但该例子清晰地表明，预测质量越高，所需的信道容量越低，从而验证了PSC的有效性。未来的工作可以进一步量化PSC在不同应用场景下的性能提升。
🎯 应用场景
预测状态通信在需要低延迟和高带宽效率的场景中具有广泛的应用前景，例如：远程呈现、虚拟现实、增强现实、实时游戏、以及其他需要实时同步状态的分布式系统。该方法可以显著降低通信开销，提高用户体验，并为未来的通信系统设计提供新的思路。
📄 摘要（原文）
Shannon theory models communication as the reliable transfer of symbol sequences, with performance governed by capacity and rate-distortion limits. When both endpoints possess strong predictors -- as in modern large language models and related generative priors -- literal symbol transport is no longer the only operational regime. We propose predictive-state communication (PSC), in which the transmitter and receiver maintain an explicit shared predictive state, and the physical channel is used primarily to convey innovations, i.e., corrective information that reconciles the receiver's provisional trajectory with the transmitter's realized trajectory. This viewpoint replaces entropy-rate accounting by cross-entropy accounting under model mismatch, and it introduces feasibility constraints that depend jointly on capacity, delay, and perceptual continuity requirements; the resulting operating set is typically a bounded perception-capacity band rather than a one-sided threshold. We outline the protocol and architectural implications (state identifiers, anchors, bounded rollback, and patch-based updates) and provide a stylized illustrative example to visualize the induced feasibility region and its dependence on predictive quality.