Near-Field Spot Beamfocusing: A Correlation-Aware Transfer Learning Approach
作者: Mohammad Amir Fallah, Mehdi Monemi, Mehdi Rasti, Matti Latva-Aho
分类: eess.SP, cs.AI, cs.LG
发布日期: 2024-05-21 (更新: 2024-12-16)
💡 一句话要点
提出一种基于相关性感知迁移学习的近场聚焦方法，加速超大规模可编程超表面的训练。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 近场聚焦 超表面 迁移学习 深度强化学习 波束成形
📋 核心要点
- 现有基于深度强化学习的超表面点波束聚焦方法，需独立训练各个子阵列，导致训练时间过长。
- 论文提出一种基于相关性感知的迁移学习方法，利用子阵列间的相似性，加速训练过程。
- 实验结果表明，该方法能够将训练速度提高约5倍，动态焦点管理场景下提升高达8倍。
📝 摘要（中文）
本文研究了使用超大规模可编程超表面(ELPMs)的近场三维点波束聚焦(SBF)技术。与传统的角度域波束成形不同，SBF将辐射功率集中在近场区域内一个非常小的三维体积中。最近，已经开发了基于信道状态信息(CSI)独立的机器学习(ML)方法，用于使用ELPMs实现有效的SBF。这些方法将ELPMs划分为子阵列，并使用深度强化学习独立训练它们，以共同将波束聚焦在期望的焦点(DFP)。本文提出了一种基于迁移学习的近场SBF方法，旨在解决独立训练子阵列导致的训练时间过长的问题。该方法利用子阵列波束聚焦矩阵之间的相关性，首先引入了一种基于子阵列孔径相位分布图像(PDI)的新型相似性准则，然后设计了一种子阵列策略传播方案，将知识从已训练的子阵列转移到未训练的子阵列。此外，通过引入准液体层作为自适应策略重用技术的改进版本，进一步增强学习效果。仿真结果表明，所提出的方案将训练速度提高了约5倍。此外，对于动态DFP管理，设计了一种DFP策略混合过程，将收敛速度提高了8倍。
🔬 方法详解
问题定义：论文旨在解决使用超大规模可编程超表面(ELPMs)进行近场点波束聚焦(SBF)时，由于独立训练各个子阵列而导致的训练时间过长的问题。现有的基于深度强化学习的方法虽然能够实现CSI-independent的SBF，但其训练效率较低，限制了其在实际应用中的部署。
核心思路：论文的核心思路是利用不同子阵列之间的波束聚焦矩阵存在相关性这一事实，通过迁移学习的方式，将已训练的子阵列的知识迁移到未训练的子阵列，从而减少每个子阵列的训练时间，加速整体的训练过程。这种方法避免了从头开始训练每个子阵列，显著提高了训练效率。
技术框架：该方法主要包含以下几个阶段：1) 相似性度量：基于子阵列孔径的相位分布图像(PDI)计算子阵列之间的相似性。2) 策略传播：根据相似性度量结果，将已训练的子阵列的策略迁移到未训练的子阵列。3) 准液体层增强学习：引入准液体层作为自适应策略重用技术的改进版本，进一步提升学习效果。4) 动态DFP策略混合：针对动态DFP管理，设计了一种DFP策略混合过程，加速收敛。
关键创新：论文的关键创新在于：1) 提出了一种基于PDI的子阵列相似性度量方法，能够有效捕捉子阵列之间的相关性。2) 设计了一种子阵列策略传播方案，能够将知识从已训练的子阵列高效地迁移到未训练的子阵列。3) 引入准液体层，改进了自适应策略重用技术，进一步提升了学习效果。
关键设计：论文的关键设计包括：1) PDI相似性度量方法的具体实现，包括如何提取PDI特征以及如何计算相似度。2) 策略传播方案的具体实现，包括如何选择源子阵列以及如何将策略迁移到目标子阵列。3) 准液体层的具体结构和参数设置，以及如何将其集成到强化学习框架中。4) DFP策略混合过程的具体实现，包括如何选择混合策略以及如何进行混合。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的迁移学习方案能够将超表面子阵列的训练速度提高约5倍。此外，针对动态期望焦点(DFP)管理，论文提出的DFP策略混合过程能够将收敛速度提高高达8倍。这些结果表明，该方法在加速超表面训练和提高动态波束聚焦性能方面具有显著优势。
🎯 应用场景
该研究成果可应用于需要快速、高效波束聚焦的近场通信、无线充电、以及高精度定位等领域。通过加速超表面的训练过程，可以更灵活地调整波束形状和方向，从而提高通信质量、能量传输效率和定位精度。未来，该技术有望在智能家居、工业自动化、医疗健康等领域发挥重要作用。
📄 摘要（原文）
Three-dimensional (3D) spot beamfocusing (SBF), in contrast to conventional angular-domain beamforming, concentrates radiating power within a very small volume in both radial and angular domains in the near-field zone. Recently the implementation of channel-state-information (CSI)-independent machine learning (ML)-based approaches have been developed for effective SBF using extremely large-scale programmable metasurface (ELPMs). These methods involve dividing the ELPMs into subarrays and independently training them with Deep Reinforcement Learning to jointly focus the beam at the desired focal point (DFP). This paper explores near-field SBF using ELPMs, addressing challenges associated with lengthy training times resulting from independent training of subarrays. To achieve a faster CSI-independent solution, inspired by the correlation between the beamfocusing matrices of the subarrays, we leverage transfer learning techniques. First, we introduce a novel similarity criterion based on the phase distribution image (PDI) of subarray apertures. Then we devise a subarray policy propagation scheme that transfers the knowledge from trained to untrained subarrays. We further enhance learning by introducing quasi-liquid layers as a revised version of the adaptive policy reuse technique. We show through simulations that the proposed scheme improves the training speed about 5 times. Furthermore, for dynamic DFP management, we devised a DFP policy blending process, which augments the convergence rate up to 8-fold.