Robust Bandwidth Estimation for Real-Time Communication with Offline Reinforcement Learning

📄 arXiv: 2507.05785v3 📥 PDF

作者: Jian Kai, Tianwei Zhang, Zihan Ling, Yang Cao, Can Shen

分类: eess.SY, cs.LG

发布日期: 2025-07-08 (更新: 2025-09-07)

备注: Accepted by IEEE GLOBECOM 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于离线强化学习的RBWE框架，提升实时通信带宽估计的鲁棒性。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 带宽估计 离线强化学习 实时通信 Q-ensemble 高斯混合策略

📋 核心要点

  1. 现有带宽估计方法在动态网络中适应性差，在线强化学习探索成本高且易中断服务。
  2. RBWE框架利用离线强化学习，结合Q-ensemble和高斯混合策略，降低分布外风险，提升策略学习效果。
  3. 实验表明，RBWE显著降低了带宽过估计误差，并提升了低QoE用户的体验质量，具有实际应用价值。

📝 摘要（中文）

精确的带宽估计(BWE)对于实时通信(RTC)系统至关重要。传统的启发式方法在动态网络下的适应性有限，而在线强化学习(RL)存在高探索成本和潜在服务中断的风险。离线RL利用从真实环境收集的高质量数据，提供了一种有前景的替代方案。然而，诸如分布外(OOD)动作、从行为多样的数据集中提取策略以及在生产系统中可靠部署等挑战仍然存在。我们提出了RBWE，一个基于离线RL的鲁棒带宽估计框架，它集成了Q-ensemble（Q函数的集成）与高斯混合策略，以减轻OOD风险并增强策略学习。回退机制通过在高不确定性下切换到启发式方法来确保部署稳定性。实验结果表明，RBWE减少了18%的过估计误差，并将第10百分位的体验质量(QoE)提高了18.6%，证明了其在真实RTC应用中的实际有效性。该实现可在https://github.com/jiu2021/RBWE_offline公开获取。

🔬 方法详解

问题定义：论文旨在解决实时通信系统中带宽估计不准确的问题。现有启发式方法难以适应动态网络环境，导致带宽利用率低或拥塞；在线强化学习虽然可以自适应调整，但探索过程成本高昂，且可能造成服务中断。因此，需要一种既能适应动态网络，又能避免在线探索风险的带宽估计方法。

核心思路：论文的核心思路是利用离线强化学习，从预先收集的大量真实网络数据中学习带宽估计策略。通过离线学习，避免了在线探索带来的风险和成本。同时，为了解决离线强化学习中常见的分布外(OOD)问题，论文采用了Q-ensemble和高斯混合策略，提高策略的鲁棒性和泛化能力。

技术框架：RBWE框架主要包含以下几个模块：1) 离线数据集：收集真实网络环境下的带宽、延迟、丢包率等数据；2) Q-ensemble：训练多个Q函数，用于估计动作价值，并提供不确定性度量；3) 高斯混合策略：学习一个高斯混合策略，用于选择动作，并降低OOD风险；4) 回退机制：当Q-ensemble的不确定性较高时，切换到传统的启发式方法，保证系统的稳定性。

关键创新：论文的关键创新在于将Q-ensemble和高斯混合策略结合起来，用于解决离线强化学习中的OOD问题。Q-ensemble可以提供动作价值的不确定性估计，高斯混合策略可以限制策略的探索范围，从而降低OOD风险。此外，回退机制进一步提高了系统的鲁棒性和稳定性。与现有方法相比，RBWE能够在保证稳定性的前提下，更好地适应动态网络环境。

关键设计：Q-ensemble包含多个独立的Q函数，每个Q函数采用相同的网络结构，但使用不同的初始化参数进行训练。高斯混合策略通过最小化KL散度损失来学习，目标是使策略的分布接近于数据集中的动作分布。回退机制的触发阈值根据实际应用场景进行调整，以平衡性能和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RBWE框架在真实网络环境下表现出色。相比于传统的启发式方法，RBWE减少了18%的带宽过估计误差，这意味着更高效的带宽利用率和更低的拥塞风险。此外，RBWE还将第10百分位的体验质量(QoE)提高了18.6%，表明其能够显著改善低QoE用户的体验，提升整体用户满意度。这些结果充分证明了RBWE在实际RTC应用中的有效性。

🎯 应用场景

RBWE框架可广泛应用于各种实时通信场景，如视频会议、在线游戏、远程教育等。通过更准确的带宽估计，可以提高用户的体验质量，降低网络拥塞，并优化带宽资源的利用率。该研究成果对于提升实时通信系统的性能和稳定性具有重要意义，并有望推动相关技术的发展。

📄 摘要（原文）

Accurate bandwidth estimation (BWE) is critical for real-time communication (RTC) systems. Traditional heuristic approaches offer limited adaptability under dynamic networks, while online reinforcement learning (RL) suffers from high exploration costs and potential service disruptions. Offline RL, which leverages high-quality data collected from real-world environments, offers a promising alternative. However, challenges such as out-of-distribution (OOD) actions, policy extraction from behaviorally diverse datasets, and reliable deployment in production systems remain unsolved. We propose RBWE, a robust bandwidth estimation framework based on offline RL that integrates Q-ensemble (an ensemble of Q-functions) with a Gaussian mixture policy to mitigate OOD risks and enhance policy learning. A fallback mechanism ensures deployment stability by switching to heuristic methods under high uncertainty. Experimental results show that RBWE reduces overestimation errors by 18% and improves the 10th percentile Quality of Experience (QoE) by 18.6%, demonstrating its practical effectiveness in real-world RTC applications. The implementation is publicly available at https://github.com/jiu2021/RBWE_offline.