Goal-Oriented Sensor Reporting Scheduling for Non-linear Dynamic System Monitoring

📄 arXiv: 2405.20983v1 📥 PDF

作者: Prasoon Raghuwanshi, Onel Luis Alcaraz López, Vimal Bhatia, Matti Latva-aho

分类: eess.SY

发布日期: 2024-05-31

💡 一句话要点

提出基于DRL的目标导向传感器调度方法，用于非线性动态系统监测。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 目标导向通信 深度强化学习 传感器调度 非线性动态系统 物联网 均方误差 能量效率

📋 核心要点

  1. 现有传感器调度方法在非线性动态系统监测中，未能充分考虑接收器的目标，导致不必要的数据传输和资源浪费。
  2. 本文提出一种基于深度强化学习的目标导向调度方法，通过优化传感器选择，减少不必要的数据传输，提升系统效率。
  3. 实验结果表明，该方法在降低查询响应均方误差和提升传感器能效方面，均优于或至少不逊于现有基准方法。

📝 摘要（中文）

本文研究了目标导向通信（GoC）在物联网（IoT）中的应用，旨在使IoT传感器选择性地传输与接收器目标相关的数据。针对非线性动态系统（NLDS）监测场景，提出了一种目标导向调度（GoS）方法。该方法利用深度强化学习（DRL），并精心设计了动作空间、状态空间和奖励函数。所设计的动作空间和奖励函数在减少传感器传输数量方面起关键作用。同时，状态空间使DRL调度器能够轮询那些观测值有望最小化查询响应均方误差（MSE）的传感器。数值分析表明，根据查询类型，所提出的GoS能够有效地最小化查询响应MSE，或者获得与基准调度方法相近的MSE。此外，该GoS在传感器能效和复杂度方面均优于基准方法。

🔬 方法详解

问题定义：论文旨在解决非线性动态系统监测中，边缘节点如何高效地调度传感器，以响应多个客户端的查询请求。现有方法通常采用盲目的数据传输或简单的轮询策略，忽略了不同传感器数据对特定查询目标的重要性差异，导致网络拥塞、能耗增加以及决策延迟等问题。

核心思路：论文的核心思路是利用目标导向通信（GoC）的思想，让传感器只传输与接收器目标相关的数据。通过深度强化学习（DRL）训练一个智能调度器，根据当前系统状态和查询目标，动态选择最优的传感器进行数据采集，从而最小化查询响应的均方误差（MSE），同时降低传感器传输数量。

技术框架：整体框架包含三个主要部分：非线性动态系统（NLDS）、传感器网络和DRL调度器。NLDS是待监测的对象，传感器网络负责采集NLDS的状态数据，DRL调度器则根据客户端的查询请求和传感器数据，决定下一步轮询哪个传感器。DRL调度器与传感器网络进行交互，通过不断学习优化调度策略。

关键创新：论文的关键创新在于将深度强化学习应用于目标导向的传感器调度。通过精心设计的状态空间、动作空间和奖励函数，DRL调度器能够学习到最优的传感器选择策略，从而在满足查询精度要求的同时，显著降低传感器的数据传输量。与传统的调度方法相比，该方法能够根据查询目标动态调整调度策略，具有更强的适应性和更高的效率。

关键设计：状态空间包括NLDS的当前状态估计、传感器观测值以及客户端的查询目标。动作空间定义为选择哪个传感器进行数据采集。奖励函数的设计至关重要，它综合考虑了查询响应的MSE和传感器的数据传输量。具体来说，奖励函数包含一个负的MSE项，鼓励调度器选择能够最小化MSE的传感器；同时包含一个负的传输量惩罚项，鼓励调度器减少不必要的传感器传输。网络结构采用深度Q网络（DQN），通过经验回放和目标网络来稳定训练过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的目标导向调度（GoS）方法在不同类型的查询下，均能有效降低查询响应的均方误差（MSE），或者获得与基准方法相近的MSE。更重要的是，GoS显著降低了传感器的数据传输量，从而提高了传感器能效。与基准方法相比，GoS还具有更低的计算复杂度，更易于部署和应用。

🎯 应用场景

该研究成果可应用于各种需要实时监测和控制的非线性动态系统，例如智能交通系统、工业自动化、环境监测和智能电网等。通过优化传感器调度，可以降低通信成本、延长传感器寿命、提高系统响应速度，并为决策者提供更准确、及时的信息。

📄 摘要（原文）

Goal-oriented communication (GoC) is a form of semantic communication where the effectiveness of information transmission is measured by its impact on achieving the desired goal. In the context of the Internet of Things (IoT), GoC can make IoT sensors to selectively transmit data pertinent to the intended goals of the receiver. Therefore, GoC holds significant value for IoT networks as it facilitates timely decision-making at the receiver, reduces network congestion, and enhances spectral efficiency. In this paper, we consider a scenario where an edge node polls sensors monitoring the state of a non-linear dynamic system (NLDS) to respond to the queries of several clients. Our work delves into the foregoing GoC problem, which we term goal-oriented scheduling (GoS). Our proposed GoS utilizes deep reinforcement learning (DRL) with meticulously devised action space, state space, and reward function. The devised action space and reward function play a pivotal role in reducing the number of sensor transmissions. Meanwhile, the devised state space empowers our DRL scheduler to poll the sensor whose observation is expected to minimize the mean square error (MSE) of the query responses. Our numerical analysis demonstrates that the proposed GoS can either effectively minimize the query response MSE further or obtain a resembling MSE compared to benchmark scheduling methods, depending on the type of query. Furthermore, the proposed GoS proves to be energy-efficient for the sensors and of lower complexity compared to benchmark scheduling methods.