MeshBind: Point-to-Mesh Binding for Non-Rigid Scene Flow Automatic Annotation

📄 arXiv: 2610.12895v1 📥 PDF

作者: Yinqi Chen, E Li, Shuaijun Wang, Weiyuan Peng, Meiying Zhang, Qi Hao

分类: cs.CV

发布日期: 2026-10-09

💡 一句话要点

提出MeshBind以解决非刚性场景流自动标注问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 场景流估计 非刚性物体 自动标注 多视角重建 局部框架绑定 自动驾驶 机器人导航

📋 核心要点

  1. 现有方法在获取非刚性物体的场景流时面临巨大挑战，尤其是在动态环境中，难以获得准确的标注数据。
  2. 论文提出MeshBind，通过多视角重建关节网格模型和局部框架绑定技术，实现对非刚性物体逐点场景流的自动标注。
  3. 实验结果显示，微调后在SFB基准上，三向端点误差降低了2-3倍，非刚性EPE与刚性EPE相当，验证了方法的有效性。

📝 摘要（中文）

场景流估计对许多自动驾驶和机器人应用至关重要，但获取非刚性物体（如行人）的真实场景流非常困难。我们提出了MeshBind，一种自动标注方法，利用网格模型为非刚性物体生成逐点场景流。该工作的创新点主要体现在三个方面：1）开发了一个多视角模块，从六个环绕摄像头重建关节网格模型并将其注册到LiDAR帧；2）开发了局部框架绑定技术，通过每个三角形的切线-法线框将每个点附加到网格上，该框在刚性运动下不变，但对关节变形具有适应性；3）开发了一个三层流注册管道，结合自我车辆运动补偿、盒子绑定和网格绑定，生成完整场景的逐点流。我们在SF-Studio中实现了MeshBind，这是一个交互式标注工具，能够可视化流并允许人类对网格进行修正并自动重新计算。我们还发布了SFB（SUScape-Flow基准），这是基于公共SUScape数据集构建的大规模基准，涵盖41k帧的逐点非刚性行人标注及刚性/半刚性/非刚性评估协议。实验表明，在SFB上微调可将三向端点误差（EPE）降低2-3倍，并使非刚性EPE达到与刚性EPE相同的水平。

🔬 方法详解

问题定义：本论文旨在解决非刚性物体（如行人）场景流的自动标注问题。现有方法在动态场景中难以获取准确的真实标注，限制了场景流估计的应用。

核心思路：论文提出的MeshBind方法通过结合多视角重建和局部框架绑定技术，能够有效地为非刚性物体生成逐点场景流。这种设计使得方法在刚性运动下保持不变，同时对关节变形具有适应性。

技术框架：MeshBind的整体架构包括三个主要模块：多视角模块用于重建关节网格模型，局部框架绑定技术用于将点附加到网格上，以及三层流注册管道用于生成完整场景的逐点流。

关键创新：本研究的关键创新在于局部框架绑定技术和三层流注册管道的结合，使得非刚性物体的场景流估计更加准确和高效。这与传统方法相比，显著提升了对动态场景的适应能力。

关键设计：在方法实现中，采用了切线-法线框来进行局部绑定，并设计了适应性强的损失函数以优化流的注册效果。此外，网络结构经过精心设计，以确保在不同场景下的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，通过在SFB基准上进行微调，MeshBind能够将三向端点误差（EPE）降低2-3倍，且非刚性EPE达到了与刚性EPE相同的水平。这一显著提升验证了该方法在非刚性场景流估计中的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等。通过提供高精度的非刚性场景流标注，MeshBind能够提升这些领域中对动态物体的理解和处理能力，进而推动相关技术的发展和应用。未来，该方法可能会在更广泛的场景中得到应用，促进智能交通和人机交互的进步。

📄 摘要（原文）

Scene flow estimation is essential for many autonomous driving (AD) and robotic applications, but obtaining ground-truth scene flow for non-rigid objects such as pedestrians is highly difficult. We present MeshBind, an automatic annotation method that uses mesh models to generate per-point scene flow for non-rigid objects. The novelty of this work is threefold: 1) developing a multi-view module that reconstructs an articulated mesh model from six surround cameras and registers it to the LiDAR frame; 2) developing a local-frame binding technique that attaches each point to the mesh via a per-triangle tangent-normal frame, invariant under rigid motion yet adaptive to articulated deformation; 3) developing a three-layer flow registration pipeline that combines ego-vehicle motion compensation, box binding, and mesh binding to produce full-scene per-point flow. We implement MeshBind in SF-Studio, an interactive annotation tool that visualises flow and allows human mesh corrections with automatic recomputation. We also release SFB (SUScape-Flow Benchmark), a large-scale benchmark built on the public SUScape dataset, covering 41k frames with per-point non-rigid pedestrian annotations and a Rigid/Semi-Rigid/Non-Rigid evaluation protocol. Experiments show that fine-tuning on SFB reduces three-way endpoint error (EPE) by 2-3x, and brings non-rigid EPE to the same level as rigid EPE.