The Lift Spectrum: How Measurement-to-Space Adaptivity Shapes Robustness in Image-Free Single-Pixel Sensing

📄 arXiv: 2607.22077v1 📥 PDF

作者: Yuyuan Han, Jingwei Li, Long Qiu, Chong Wang, Wenxuan Hao, Jiangyu Han, Xinyu Yao, Yuchen He, Hui Chen, Jianbin Liu, Huaibin Zheng

分类: eess.IV, cs.CV, physics.optics

发布日期: 2026-07-24

备注: 26 pages (14 main text + 12 supplementary material), 9 figures. Submitted to IEEE Transactions on Computational Imaging

🔗 代码/项目: GITHUB

💡 一句话要点

提出Lift Spectrum以提升图像无关单像素传感的鲁棒性

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 单像素传感 图像无关方法 Lift Spectrum 时空软融合 任务优先损失调度 鲁棒性提升 深度学习

📋 核心要点

  1. 现有的图像无关单像素传感方法在处理一维测量到二维表示的转换时，往往将其视为简单的重塑，忽视了其复杂性。
  2. 本文提出将lift作为图像无关传感的核心设计轴，并引入时空软融合网络（STSF）与任务优先损失调度（TPLS）以增强适应性。
  3. 实验结果显示，STSF+TPLS在多个数据集上显著超越了传统基线，尤其在处理噪声时表现出更好的鲁棒性。

📝 摘要（中文）

单像素传感通过编码场景为一系列短的编码测量值，图像无关的方法直接从这些测量中推断任务。去除重建并未消除难度，而是将其转移至lift，即从一维测量到二维表示的映射。本文将lift重新定义为图像无关传感的核心设计轴，并根据其对输入的适应性强弱对方法进行排序。提出的时空软融合（STSF）网络结合了探针选择的递归编码器和通过参数匹配消融选择的交叉注意力lift，并在任务优先损失调度下进行训练。实验结果表明，STSF+TPLS在三个数据集上超越了先前的图像无关基线，采样率为3.13%时，前景mIoU提升了3.2至9.9个百分点。

🔬 方法详解

问题定义：本文旨在解决图像无关单像素传感中，如何有效地将一维测量转换为二维表示的问题。现有方法往往将这一过程视为简单的重塑，未能充分考虑其复杂性和适应性。

核心思路：论文的核心思路是将lift视为设计的中心轴，并根据其对输入的适应性进行排序。通过引入时空软融合网络（STSF）和任务优先损失调度（TPLS），提升了系统在不同采样条件下的鲁棒性。

技术框架：整体架构包括探针选择的递归编码器、交叉注意力lift和U-Net++解码器。STSF网络通过参数匹配消融选择合适的lift，并在训练过程中采用任务优先损失调度以优化性能。

关键创新：最重要的技术创新在于将lift作为设计的核心，并通过适应性强的网络结构提升了图像无关传感的鲁棒性。这与传统的重建-分割流程有本质区别。

关键设计：在设计中，STSF网络的损失函数采用任务优先调度，确保在训练过程中关注最重要的任务。此外，网络结构中引入了交叉注意力机制，以增强对输入信息的适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，STSF+TPLS在三个数据集上超越了传统图像无关基线，采样率为3.13%时，前景mIoU提升了3.2至9.9个百分点。在处理噪声时，STSF+TPLS的表现优于传统的重建-分割方法，显示出更强的鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括医疗成像、环境监测和安全监控等场景，能够在不依赖传统图像重建的情况下，提供高效的图像分析和信息提取。未来，该方法有望在实时监测和快速响应系统中发挥重要作用。

📄 摘要（原文）

Single-pixel sensing encodes a scene as a short sequence of coded measurements, and image-free methods infer the task directly from that sequence. Removing reconstruction does not remove the difficulty: it relocates it to the lift, the map from 1D measurements to a 2D representation, which prior work treats as a trivial reshape. We recast the lift as the central design axis of image-free sensing and order methods by how strongly it adapts to its input: a fixed-physics inverse (reconstruct-then-segment), a learned static projection, or a content-adaptive retrieval; position on this lift spectrum predicts behavior as acquisition degrades. The spatiotemporal soft-fusion (STSF) network pairs a probe-selected recurrent encoder with a cross-attention lift chosen by a parameter-matched ablation, ahead of its U-Net++ decoder, and trains under task-prioritized loss scheduling (TPLS), a scheduled reconstruction prior. In simulation, STSF+TPLS surpasses the prior image-free baseline on three datasets at 3.13% sampling (+3.2 to +9.9 pp foreground mIoU) and plateaus down to 0.39%. The strongest clean-trained reconstruct-then-segment baseline wins the noiseless limit, but under calibrated measurement noise image-free inference overtakes it, for a measured reason: the reconstruction pipeline amplifies the identical measurement noise before its segmenter reads it. Each region fails in its own signature: collapse, imprinting, or coarsening. STSF+TPLS transfers without fine-tuning to a real single-pixel bench as a proof of concept, at about 14 ms per mask. Charting the lift turns a scattered design space into a map of which lift to deploy at each operating point. Code and pretrained weights: https://github.com/Hanyuyuan6/STSF-TPLS