PRISM: Learning Realistic Depth via Physics-Grounded Noise Disentanglement with Semantic-Geometric Collaboration
作者: Xiujian Liang, Jiacheng Liu, Mingyang Sun, Qichen He, Anda Cheng, Cewu Lu, Jianhua Sun
分类: cs.RO
发布日期: 2026-10-21
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出PRISM以解决真实深度合成中的噪声问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 深度合成 噪声解耦 物理建模 机器人导航 自动驾驶
📋 核心要点
- 现有的深度传感器模型通常将噪声视为单一的黑箱过程，未能有效处理不同类型的噪声源，导致从模拟到现实的转移效果不佳。
- 本文提出了一种基于物理的噪声解耦方法，将噪声分为传感失效和测量不准确两种模式，从而实现针对性处理。
- 实验结果显示，PRISM在噪声深度合成中达到了最先进的保真度，并在实际应用中实现了92.1%的成功率，显著提升了性能。
📝 摘要（中文）
现实世界的物理传感存在复杂且异质的噪声模式，这些噪声显著偏离理想化的模拟，成为从模拟到现实转移的基本瓶颈。现有的传感器建模通常将深度噪声视为一个整体黑箱过程，忽视了不同误差模式背后的物理机制。本文提出了一种基于物理的范式，将整体噪声解耦为两种互补的模式：传感失效和测量不准确，从而根据物理来源对噪声源进行定制化处理。基于这一见解，我们提出了PRISM，一个三部分框架，提炼3D视觉基础模型特征作为物理推理的丰富空间-语义先验。大量基准测试表明，PRISM在噪声深度合成中实现了最先进的保真度，且在实际机器人实验中，PRISM的平均成功率达到92.1%，显著优于整体基线。
🔬 方法详解
问题定义：本文旨在解决现实深度传感中的复杂噪声问题，现有方法未能有效区分不同噪声模式，导致性能瓶颈。
核心思路：通过将整体噪声解耦为传感失效和测量不准确两种模式，PRISM能够根据物理来源对噪声进行定制化处理，从而提高深度合成的准确性。
技术框架：PRISM框架由三个主要部分组成：首先提取3D视觉基础模型特征，其次应用分层正向优先监督，最后进行物理推理以优化深度合成。
关键创新：PRISM的核心创新在于其物理基础的噪声解耦方法，能够针对不同噪声源进行处理，显著区别于传统的黑箱模型。
关键设计：在设计中，采用了多尺度正权重目标和动态难例挖掘策略，以确保对失效区域的精确划分，同时优化了损失函数以增强模型的学习效果。
🖼️ 关键图片
📊 实验亮点
实验结果表明，PRISM在噪声深度合成任务中达到了最先进的保真度，并在实际机器人实验中实现了92.1%的平均成功率，相较于传统整体基线有显著提升。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、自动驾驶和增强现实等场景，能够有效提升深度传感的准确性和可靠性，具有重要的实际价值和广泛的未来影响。
📄 摘要（原文）
Real-world physical sensing exhibits complex, heterogeneous noise patterns that deviate significantly from idealized simulation, posing a fundamental bottleneck for sim-to-real transfer. Existing sensor modelings typically treat depth noise as a monolithic black-box process, overlooking the distinct physical mechanisms that govern different error modalities. In this work, we introduce a physics-grounded paradigm that disentangles monolithic noise into two complementary modalities: \textbf{sensing invalidation} and \textbf{measurement inaccuracy}, enabling a tailored treatment of noise sources based on their physical origins. Building on this insight, we propose \textbf{PRISM}, a tripartite framework that distills 3D Visual Foundation Model features as rich spatial-semantic priors for physics-based reasoning. To address the inherent sparsity and class imbalance of invalidation regions, we develop Hierarchical Positive-Prioritized Supervision, integrating multi-scale positive-weighted objectives with a positive-preserving dynamic hard mining strategy to enforce precise artifact delineation. Extensive benchmarks demonstrate that PRISM achieves state-of-the-art fidelity in noisy depth synthesis. Furthermore, downstream robotic experiments show that PRISM facilitates a \textbf{92.1\%} average success rate in the real world, marking a significant improvement over monolithic baselines. Our project page is available at: \resizebox{\linewidth}{!}{\href{https://shawnleung-sii.github.io/prism-icml2026/}{https://shawnleung-sii.github.io/prism-icml2026/}.}