A Heuristic-Integrated DRL Approach for Phase Optimization in Large-Scale RISs

📄 arXiv: 2505.04401v1 📥 PDF

作者: Wei Wang, Peizheng Li, Angela Doufexi, Mark A. Beach

分类: eess.SP, cs.LG

发布日期: 2025-05-07

备注: 5 pages, 5 figures. This work has been accepted for publication in IEEE Communications Letters

💡 一句话要点

提出一种启发式集成的DRL方法，用于大规模RIS的相位优化

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 可重构智能表面 深度强化学习 相位优化 双深度Q网络 贪婪算法

📋 核心要点

  1. 大规模RIS的相位优化因其非凸性和非线性而极具挑战，传统方法难以有效解决。
  2. 该论文提出了一种启发式集成的DRL框架，结合DDQN和贪婪算法，实现RIS相位配置的优化。
  3. 实验结果表明，该方法能够在小动作空间内有效优化大规模RIS的相位配置。

📝 摘要（中文）

在大规模可重构智能表面（RIS）中优化离散相移极具挑战性，因为其具有非凸性和非线性。本文提出了一种启发式集成的深度强化学习（DRL）框架，该框架（1）利用双深度Q网络（DDQN）中多个步骤的累积动作来控制RIS的列，以及（2）将贪婪算法（GA）集成到每个DRL步骤中，通过对RIS配置进行细粒度的、逐元素的优化来改进状态。通过从包含GA的状态中学习，所提出的方法有效地解决了小DRL动作空间内的RIS优化问题，展示了其优化大规模RIS相移配置的能力。

🔬 方法详解

问题定义：论文旨在解决大规模RIS中离散相移的优化问题。由于RIS的非凸性和非线性，传统的优化方法，如穷举搜索或梯度下降，计算复杂度高，难以应用于大规模RIS。现有的DRL方法可能需要大量的动作空间来表示RIS的各种配置，导致训练困难。

核心思路：论文的核心思路是将启发式算法（贪婪算法）与DRL相结合。DRL负责学习RIS配置的整体策略，而贪婪算法则用于在每个DRL步骤中对RIS配置进行细粒度的优化。通过这种方式，DRL可以从经过贪婪算法优化的状态中学习，从而在较小的动作空间内实现有效的RIS优化。

技术框架：该框架主要包含以下几个模块：1) DDQN：用于学习RIS配置的整体策略。DDQN使用累积动作来控制RIS的列，从而减少动作空间。2) 贪婪算法（GA）：用于在每个DRL步骤中对RIS配置进行细粒度的优化。GA通过逐元素地调整RIS的相位，以最大化目标函数。3) 状态表示：状态包括信道状态信息（CSI）和RIS的当前配置。4) 奖励函数：奖励函数旨在鼓励DRL学习能够最大化接收信号强度的RIS配置。

关键创新：该论文的关键创新在于将启发式算法（贪婪算法）集成到DRL框架中。这种集成使得DRL能够从经过启发式算法优化的状态中学习，从而在较小的动作空间内实现有效的RIS优化。与传统的DRL方法相比，该方法能够更好地处理大规模RIS的优化问题。

关键设计：1) DDQN的动作空间被设计为控制RIS的列，而不是单个元素，从而减少了动作空间的大小。2) 贪婪算法被用于在每个DRL步骤中对RIS配置进行细粒度的优化，从而提高了优化的效率。3) 奖励函数被设计为鼓励DRL学习能够最大化接收信号强度的RIS配置。具体的网络结构和超参数设置在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了所提出的启发式集成DRL方法的有效性。实验结果表明，该方法能够在小动作空间内有效地优化大规模RIS的相位配置，并取得了与传统方法相当甚至更好的性能。具体的性能数据和对比基线在摘要中未提及，属于未知信息。

🎯 应用场景

该研究成果可应用于无线通信系统，特别是需要增强信号覆盖和容量的场景，例如智能家居、工业物联网和未来移动通信网络。通过优化RIS的相位配置，可以显著提高无线通信的性能，改善用户体验，并为实现更高效、更可靠的无线通信系统奠定基础。

📄 摘要（原文）

Optimizing discrete phase shifts in large-scale reconfigurable intelligent surfaces (RISs) is challenging due to their non-convex and non-linear nature. In this letter, we propose a heuristic-integrated deep reinforcement learning (DRL) framework that (1) leverages accumulated actions over multiple steps in the double deep Q-network (DDQN) for RIS column-wise control and (2) integrates a greedy algorithm (GA) into each DRL step to refine the state via fine-grained, element-wise optimization of RIS configurations. By learning from GA-included states, the proposed approach effectively addresses RIS optimization within a small DRL action space, demonstrating its capability to optimize phase-shift configurations of large-scale RISs.