Demystifying Deep Reinforcement Learning: A Neuro-Symbolic Framework for Interpretable Open RAN Automation

📄 arXiv: 2605.10648v1 📥 PDF

作者: Jie Lu, Peihao Yan, Pang-Ning Tan, Y. Thomas Hou, Huacheng Zeng

分类: cs.NI, eess.SY

发布日期: 2026-05-11

🔗 代码/项目: GITHUB

💡 一句话要点

提出神经符号框架DeRAN，通过策略蒸馏实现O-RAN网络控制的可解释性与自动化

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 神经符号学习 深度强化学习 O-RAN自动化 可解释人工智能 策略蒸馏 符号回归

📋 核心要点

  1. DRL在O-RAN中的应用受限于其黑盒特性，缺乏可解释性与可审计性，难以满足电信级网络对安全部署的严格要求。
  2. DeRAN通过神经符号框架将DRL策略蒸馏为人类可读的符号表示，利用概念抽象层将遥测数据转化为语义特征。
  3. 实验表明，DeRAN在两个典型用例中分别实现了DRL性能的78%和87%，在保证可解释性的同时维持了高效的控制能力。

📝 摘要（中文）

开放无线接入网（O-RAN）正日益采用深度强化学习（DRL）进行网络切片和移动性管理等复杂任务的优化。然而，DRL固有的黑盒特性和随机执行行为限制了其在电信级网络中的部署，难以满足运营商对信任度、可审计性和安全性的要求。现有的可解释AI（XAI）方法多为事后分析，无法提供适用于生产环境的可执行策略。本文提出了DeRAN，这是一个神经符号框架，通过将黑盒DRL策略蒸馏为人类可读的符号表示，弥合了DRL性能与操作透明度之间的鸿沟。DeRAN引入了概念驱动的抽象层，将高维遥测数据转化为具有语义意义的特征。在此基础上，利用深度符号回归（DSR）进行连续控制，利用神经引导的可微逻辑（NUDGE）进行离散决策。在5G O-RAN测试床上的实验表明，DeRAN在保持设计可解释性和可审计性的同时，达到了DRL累积奖励的78%和87%。

🔬 方法详解

问题定义：论文旨在解决O-RAN中DRL控制策略的“黑盒”问题。现有XAI方法仅提供事后解释，无法生成可直接部署、可审计且具备逻辑透明度的控制策略，导致运营商难以在生产环境中信任并部署DRL模型。

核心思路：采用神经符号学习范式，将深度学习的感知能力与符号逻辑的可解释性相结合。通过将复杂的神经网络策略蒸馏为紧凑的符号表达式，使控制逻辑从“不可知”转变为“可理解的数学公式或逻辑规则”。

技术框架：DeRAN包含三个核心模块：概念驱动抽象层（将原始遥测数据映射为语义特征）、深度符号回归模块（针对连续动作空间生成符号表达式）、以及神经引导的可微逻辑模块（针对离散决策空间生成逻辑规则）。

关键创新：引入了语义接地（Semantic Grounding）的概念，确保符号特征与网络物理意义对齐；同时通过DSR和NUDGE技术，实现了对不同控制任务（连续与离散）的统一符号化建模，而非简单的特征重要性分析。

关键设计：利用预训练的DRL模型作为教师网络，通过模仿学习引导符号策略的生成。在损失函数设计上，不仅考虑了动作预测误差，还引入了符号表达式的复杂度惩罚项，以确保生成的策略既准确又简洁，便于人类专家审计。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DeRAN在两个代表性O-RAN用例中表现出色，分别达到了DRL基线性能的78%和87%。实验不仅验证了其在复杂网络环境下的控制有效性，更重要的是，通过生成的符号策略，实现了对控制逻辑的直接审计，证明了在牺牲少量性能的前提下，获得高度可解释性与安全可控性的可行性。

🎯 应用场景

该研究主要应用于5G及未来6G网络中的自动化控制，特别是网络切片资源分配、移动性负载均衡等关键任务。其核心价值在于为运营商提供了一种“白盒化”的AI控制方案，使得复杂的网络优化策略能够被人类工程师理解、验证和修正，从而加速AI技术在电信级基础设施中的落地。

📄 摘要（原文）

Open Radio Access Networks (O-RAN) are increasingly adopting data-driven control through Deep Reinforcement Learning (DRL) to optimize complex tasks such as network slicing and mobility management. However, the deployment of DRL in carrier-grade networks is hindered by its inherent opacity and stochastic execution, which limit operator trust, auditability, and safe deployment. Existing explainable AI (XAI) approaches primarily provide post-hoc insights and fail to produce executable, interpretable policies suitable for operational environments. In this paper, we present DeRAN, a neuro-symbolic framework that bridges the gap between DRL performance and operational transparency by distilling black-box DRL policies into human-readable symbolic representations. DeRAN introduces a concept-driven abstraction layer that transforms high-dimensional network telemetry into a compact set of semantically meaningful features, enabling interpretable policy learning. Building on the semantically grounded concepts, DeRAN synthesizes symbolic policies using deep symbolic regression (DSR) for continuous control and neurally guided differentiable logic (NUDGE) for discrete decision-making. We implement DeRAN on a live 5G O-RAN testbed and evaluate it on two representative use cases. Experimental results demonstrate that DeRAN achieves 78\% and 87\% of DRL's cumulative rewards in the two use cases, while offering interpretability and auditability by design. Source code is available at https://github.com/Jadejavu/A-Neuro-Symbolic-Framework-for-Interpretable-Open-RAN-Automation