AnalogDepth: Multi-view Geometry from FPV drones under Analog Video Transmission

📄 arXiv: 2609.24312v1 📥 PDF

作者: André Amorim, Pedro F. Proença

分类: cs.CV, cs.RO

发布日期: 2026-09-21

💡 一句话要点

提出AnalogDepth以解决FPV无人机模拟视频传输下的深度估计问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模拟视频传输 深度估计 知识蒸馏 低秩适应 FPV无人机 图像噪声 3D重建

📋 核心要点

  1. 现有的深度估计模型在处理模拟视频传输噪声时表现不佳，导致准确性下降。
  2. 本文提出AnalogDepth，通过知识蒸馏和LoRA技术，优化DA3以适应模拟FPV图像的噪声特性。
  3. 实验结果表明，使用真实噪声库训练后，模型在深度估计和3D重建上均有显著提升。

📝 摘要（中文）

模拟视频传输（VTX）因其低延迟、轻量和低成本在FPV无人机中广泛应用。然而，模拟VTX面临复杂的空间结构图像退化，这与标准训练增强中使用的数字图像损坏（如AWGN）根本不同。本文展示了这种噪声严重降低了深度估计模型Depth Anything 3（DA3）的准确性。为了解决这一问题，我们提出了AnalogDepth，一个参数高效的训练管道，通过知识蒸馏和低秩适应（LoRA）将DA3适配于模拟FPV图像。我们构建了一个噪声库，并通过实验验证了与高斯噪声的对比，结果表明，使用真实噪声库训练显著降低了深度RMSE和3D重建Chamfer距离。

🔬 方法详解

问题定义：本文旨在解决FPV无人机在模拟视频传输下的深度估计问题。现有的深度估计模型（如DA3）在面对复杂的模拟噪声时表现不佳，导致深度估计的准确性显著下降。

核心思路：论文的核心思路是通过构建一个真实的噪声库，利用知识蒸馏和低秩适应（LoRA）技术，将DA3模型有效适配于模拟FPV图像，从而提高其在复杂噪声环境下的性能。

技术框架：整体架构包括噪声库的构建、模型的知识蒸馏和LoRA的应用。首先，从静态FPV录制中提取多种条件下的噪声，然后将这些噪声注入到DA3模型中进行训练。

关键创新：最重要的技术创新点在于通过真实噪声库的构建和使用，使得模型能够更好地适应模拟视频传输中的噪声特性，这与传统的高斯噪声合成方法有本质区别。

关键设计：在参数设置上，采用了低秩适应（LoRA）来减少模型的参数量，同时在损失函数中引入了针对深度估计的特定设计，以优化模型在复杂噪声下的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用AnalogDepth训练的模型在六个真实FPV飞行序列中，相较于预训练的DA3基线和两种高斯噪声变体，深度RMSE和3D重建Chamfer距离均显著降低，表明真实噪声库的使用对模型适应性至关重要。

🎯 应用场景

该研究的潜在应用领域包括FPV无人机的自动导航、环境监测和实时视频分析等。通过提高深度估计的准确性，AnalogDepth能够在复杂环境中提供更可靠的视觉信息，从而增强无人机的自主决策能力和任务执行效率。

📄 摘要（原文）

Analog video transmission (VTX) remains widespread in FPV drones due to low latency, weight and low cost. However analog VTX suffers from complex spatially structured image degradation which differ fundamentally from digital image corruption (e.g. AWGN) used in standard training augmentation. This work shows that this type of noise severely degrades the accuracy of Depth Anything 3 (DA3), a state-of-the-art feed forward visual geometry foundation model. To address this gap, we present AnalogDepth, a parameter-efficient training pipeline that adapts DA3 to analog FPV imagery using student-teacher knowledge distillation with Low-Rank Adaptation (LoRA) injected into the DINOv2 backbone. Rather than synthesizing noise analytically, we build a noise bank from static FPV recordings under diverse conditions and compare real-noise injection against PSD-matched Gaussian synthesis and AWGN as baselines. Experiments on six real FPV flight sequences across three indoor scenes show that training with our noise bank consistently reduces per-frame depth RMSE and 3D reconstruction Chamfer distance compared to the pretrained DA3 baseline and both Gaussian noise variants. These results demonstrate that replicating the spatial structure of real analog transmission noise is critical for effective adaptation.