Physically-Guided Optical Inversion Enable Non-Contact Side-Channel Attack on Isolated Screens

📄 arXiv: 2604.13419v1 📥 PDF

作者: Zhiwen Zheng, Yuheng Qiao, Xiaoshuai Zhang, Zhao Huang, Tao Zhang, Huiyu Zhou, Shaowei Jiang, Jin Liu, Wenwen Tang, Xingru Huang

分类: cs.CV

发布日期: 2026-04-15

💡 一句话要点

提出IR4Net，通过物理引导的光学反演实现对隔离屏幕的非接触式侧信道攻击。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 光学反演 侧信道攻击 非接触式攻击 辐射传输方程 深度学习 信息安全 屏幕内容窃取

📋 核心要点

  1. 现有非接触式屏幕内容窃取方法易受光照和噪声影响，重建质量差，缺乏稳定性。
  2. IR4Net利用漫反射形成的散斑图案，结合物理模型和深度学习，实现鲁棒的光学反演。
  3. 实验表明，IR4Net在四个场景类别中实现了高保真度的屏幕内容重建，并对光照扰动具有鲁棒性。

📝 摘要（中文）

本文提出了一种光学投影侧信道攻击方法，用于非接触式地窃取电子屏幕内容。该方法解决了两个核心问题：投影映射的近奇异雅可比谱导致Hadamard稳定性失效，使得反演对扰动高度敏感；光传输中的不可逆压缩消除了全局语义线索，增加了重建的模糊性。为此，论文提出了Irradiance Robust Radiometric Inversion Network (IR4Net)。IR4Net融合了Physically Regularized Irradiance Approximation (PRIrr-Approximation)，将辐射传输方程嵌入到可学习的优化器中，并结合轮廓到细节的跨尺度重建机制来抑制噪声传播。此外，Irreversibility Constrained Semantic Reprojection (ICSR)模块通过上下文驱动的语义映射恢复丢失的全局结构。在四个场景类别上的评估表明，IR4Net在保持对光照扰动鲁棒性的同时，实现了超越现有神经方法的高保真度。

🔬 方法详解

问题定义：论文旨在解决从屏幕的漫反射光中恢复屏幕显示内容的问题，这是一个典型的光学反演问题。现有方法，特别是基于深度学习的方法，在面对真实场景中的光照变化、噪声以及光传输过程中的信息损失时，重建质量会显著下降，且缺乏稳定性。根本原因是光传输过程的复杂性和逆问题的病态性，导致微小的扰动可能导致重建结果的巨大偏差。

核心思路：论文的核心思路是将物理模型（辐射传输方程）与深度学习相结合，利用物理模型来约束深度学习的优化过程，从而提高重建的稳定性和准确性。具体来说，通过将辐射传输方程嵌入到可学习的优化器中，可以更好地利用光照信息，并减少对训练数据的依赖。同时，利用上下文信息来恢复由于光传输过程中的不可逆压缩而丢失的全局语义结构。

技术框架：IR4Net的整体框架包含两个主要模块：Physically Regularized Irradiance Approximation (PRIrr-Approximation) 和 Irreversibility Constrained Semantic Reprojection (ICSR)。PRIrr-Approximation模块负责利用辐射传输方程来估计场景中的光照分布，并生成一个物理约束的辐射近似。ICSR模块则利用上下文信息来恢复由于光传输过程中的不可逆压缩而丢失的全局语义结构。这两个模块协同工作，共同完成屏幕内容的重建。

关键创新：论文的关键创新在于将辐射传输方程嵌入到可学习的优化器中，提出了Physically Regularized Irradiance Approximation (PRIrr-Approximation)模块。这种方法能够更好地利用光照信息，并减少对训练数据的依赖，从而提高重建的稳定性和准确性。此外，Irreversibility Constrained Semantic Reprojection (ICSR)模块通过上下文驱动的语义映射恢复丢失的全局结构，也是一个重要的创新点。与现有方法相比，IR4Net更加注重物理模型的约束，从而提高了重建的鲁棒性和泛化能力。

关键设计：PRIrr-Approximation模块使用一个可学习的优化器来求解辐射传输方程，该优化器包含多个卷积层和激活函数。损失函数包括辐射损失、结构相似性损失和感知损失，用于约束重建结果的质量。ICSR模块使用一个语义分割网络来提取场景中的语义信息，并利用这些信息来恢复丢失的全局结构。具体参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，IR4Net在四个场景类别中均取得了优于现有神经方法的重建效果。具体来说，IR4Net在PSNR、SSIM等指标上均取得了显著提升，并且对光照扰动具有更强的鲁棒性。例如，在光照变化剧烈的场景中，IR4Net的重建质量仍然能够保持在一个较高的水平，而其他方法的重建质量则会显著下降。

🎯 应用场景

该研究成果可应用于信息安全领域，例如防止敏感信息通过屏幕泄露。此外，该技术在逆向渲染、三维重建等领域也具有潜在应用价值。未来，可以进一步研究如何提高重建速度和精度，并将其应用于更复杂的场景中，例如动态场景和非朗伯表面。

📄 摘要（原文）

Noncontact exfiltration of electronic screen content poses a security challenge, with side-channel incursions as the principal vector. We introduce an optical projection side-channel paradigm that confronts two core instabilities: (i) the near-singular Jacobian spectrum of projection mapping breaches Hadamard stability, rendering inversion hypersensitive to perturbations; (ii) irreversible compression in light transport obliterates global semantic cues, magnifying reconstruction ambiguity. Exploiting passive speckle patterns formed by diffuse reflection, our Irradiance Robust Radiometric Inversion Network (IR4Net) fuses a Physically Regularized Irradiance Approximation (PRIrr-Approximation), which embeds the radiative transfer equation in a learnable optimizer, with a contour-to-detail cross-scale reconstruction mechanism that arrests noise propagation. Moreover, an Irreversibility Constrained Semantic Reprojection (ICSR) module reinstates lost global structure through context-driven semantic mapping. Evaluated across four scene categories, IR4Net achieves fidelity beyond competing neural approaches while retaining resilience to illumination perturbations.