Reference-Free Food Volume Estimation from Egocentric Stereo Video
作者: Vivan Kumar, Gautham Vinod, Fengqing Zhu
分类: cs.CV
发布日期: 2026-10-08
备注: 9 pages, 4 figures, 1 table
💡 一句话要点
提出一种无参考物体的食品体积估计方法以解决用户负担问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 食品体积估计 立体视觉 可穿戴设备 视觉惯性测量 自动重建 食品分割 3D重建
📋 核心要点
- 现有的立体视觉食品分量估计方法要求用户拍摄多张图像或放置参考物体，增加了用户负担。
- 本文提出了一种利用可穿戴设备的立体视频进行食品体积估计的方法，能够实现全自动重建，无需参考物体。
- 实验结果显示，该方法在五种食品上实现了平均绝对百分比误差为9.1%的优异性能，具有良好的实际应用潜力。
📝 摘要（中文）
当前基于立体视觉的食品分量估计方法受到用户需要使用手机拍摄多张图像或在场景中放置参考物体进行尺度校准的限制。为实现被动饮食摄入监测，本文提出了一种利用可穿戴设备的立体视频重建食品物品真实物理尺度以准确估计体积的方法。通过使用FoundationStereo进行零-shot立体匹配，SAM 2进行食品分割，以及对一组关键帧进行TSDF融合，我们的方法能够从单个立体录制中生成任何盘装食品的视觉和度量上准确的3D网格。我们利用可穿戴设备的独特优势，如工厂校准的立体基线和通过视觉惯性测量（VIO）在设备上估计的相机姿态，实现了无需场景中尺度参考物体的全自动重建。我们在五种记录的食品项目上展示了强劲的初步体积估计结果，平均绝对百分比误差为9.1%。
🔬 方法详解
问题定义：本文旨在解决现有食品体积估计方法中用户需要拍摄多张图像或放置参考物体的问题，这些要求增加了用户的负担，限制了方法的实用性。
核心思路：我们提出了一种基于可穿戴设备的立体视频重建方法，通过利用设备的工厂校准立体基线和视觉惯性测量（VIO）估计的相机姿态，实现无需参考物体的全自动重建。
技术框架：该方法主要包括三个阶段：首先，使用FoundationStereo进行零-shot立体匹配；其次，利用SAM 2进行食品分割；最后，通过对一组关键帧进行TSDF融合，生成3D网格。
关键创新：本研究的核心创新在于通过可穿戴设备实现了无参考物体的食品体积估计，克服了传统方法的局限性，提供了更为便捷的解决方案。
关键设计：在技术细节上，采用了工厂校准的立体基线以确保立体匹配的准确性，同时通过视觉惯性测量技术提高了相机姿态的估计精度，这些设计使得系统能够在动态环境中稳定工作。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在五种不同食品的体积估计中，平均绝对百分比误差仅为9.1%。这一结果显著优于传统方法，展示了该技术在实际应用中的有效性和可靠性。
🎯 应用场景
该研究的潜在应用领域包括智能饮食监测、健康管理和营养评估等。通过实现无参考物体的食品体积估计，用户可以更方便地进行饮食记录和分析，促进健康饮食习惯的养成。未来，该技术有望与其他健康监测设备结合，提供更全面的健康管理解决方案。
📄 摘要（原文）
Current stereo vision-based approaches for food portion estimation are hindered by the user burden of using a mobile phone to capture multiple images or placing a reference object in the scene for scale calibration. As a step towards passive dietary intake monitoring, we introduce a method that uses stereo video from a wearable egocentric device to reconstruct food items in true physical scale to accurately estimate volume. By utilizing FoundationStereo for zero-shot stereo matching, SAM 2 for food segmentation, and TSDF fusion over a set of keyframes, our method yields a visually and metrically accurate 3D mesh of any plated food item from a single stereo recording. We leverage the unique offerings of wearables, such as a factory-calibrated stereo baseline and camera poses estimated on-device via visual-inertial odometry (VIO), to perform fully automatic reconstruction without a scale reference object in the scene. We show strong initial volume estimation results across five recorded food items, achieving a mean absolute percentage error of 9.1%.