Video2SwimFish: An Automated Pipeline for Reconstructing Controllable Fish Models and Biological Locomotion from Real Fish Videos

📄 arXiv: 2609.38966v1 📥 PDF

作者: Hangong Chen, Linfeng Cheng, Tahsin Zaman Jilan, Ian Fuller, Lee Caesar, Jiaye Wu, Yantian Zha

分类: cs.RO

发布日期: 2026-09-30

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出Video2SwimFish以自动重建可控鱼类模型和生物运动

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 水下机器人 生物运动流形 可控模型 个体化建模 运动学习

📋 核心要点

  1. 现有方法在从视频中重建鱼类模型时，缺乏对个体形态和运动特征的准确捕捉，导致生成的模型无法真实反映鱼类的生物运动。
  2. 论文提出的Video2SwimFish管道通过多视角视频重建可变形网格，并利用生物运动流形提取个体游泳策略，解决了个体化建模的挑战。
  3. 实验结果表明，尽管任务成功率和运动忠实度不一定同步提升，但该方法在个体游泳策略学习上具有显著的效果，推动了水下机器人应用的发展。

📝 摘要（中文）

我们提出了Video2SwimFish，这是一个自动化管道和基准，用于从真实鱼类视频中构建可控的鱼类资产，以支持水下具身人工智能。该管道利用同步的多视角视频重建可变形网格，并通过VLM选择的标准帧生成适应个体形态的内部关节结构，提取鱼类的生物运动流形（BLM），为每条重建鱼类学习个体游泳策略提供低维动作空间。我们发布了两个配对数据集，包含120条鱼类的同步顶视图和侧视图录制，以及从中衍生的可控资产和个体游泳策略。该数据集支持基准测试，评估运动学习的成功率和对个体运动的忠实度，提出了个体动物运动的忠实再现是社区面临的开放挑战。

🔬 方法详解

问题定义：本论文旨在解决从真实鱼类视频中重建可控鱼类模型的挑战，现有方法往往无法准确捕捉个体的形态和运动特征，导致生成模型的局限性。

核心思路：Video2SwimFish通过同步多视角视频重建可变形网格，并利用生物运动流形（BLM）提取个体游泳策略，旨在实现对个体鱼类的精确建模和控制。

技术框架：该方法的整体架构包括三个主要模块：首先，从VLM选择的标准帧重建可变形网格；其次，生成适应个体形态的内部关节结构；最后，提取生物运动流形以学习个体游泳策略。

关键创新：论文的主要创新在于引入生物运动流形（BLM），为每条重建鱼类提供低维动作空间，使得个体游泳策略的学习更加高效和精确。

关键设计：在技术细节上，采用了VLM选择标准帧的机制，结合演员-评论家循环来生成个体化的内部关节结构，并通过观察鱼类的中线曲率来提取BLM，确保模型的生物学真实性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，尽管任务成功率和运动忠实度之间并不总是正相关，但Video2SwimFish在个体游泳策略学习上表现出色，成功完成率与运动忠实度的评估为未来研究提供了新的方向。具体而言，某些方法在任务完成率上达到了85%，而运动忠实度的评估则显示出显著的个体差异。

🎯 应用场景

该研究的潜在应用领域包括水下机器人、虚拟现实中的生物模拟以及生态研究等。通过提供可控的鱼类模型，研究人员可以更好地理解鱼类运动机制，并在水下环境中进行更高效的任务执行，推动水下技术的发展。

📄 摘要（原文）

We present Video2SwimFish, an automated pipeline and benchmark for building controllable fish assets from real-fish videos for underwater embodied AI. Given synchronized multi-view videos of an individual fish, the pipeline reconstructs a metrically scaled deformable mesh from a VLM-selected canonical frame, generates internal articulation adapted to that individual's morphology through a VLM actor-critic loop, and extracts a Biological Locomotion Manifold (BLM) from the fish's observed midline curvature. The BLM provides a low-dimensional action space bounded by real-fish motion, enabling an individual swimming policy to be learned for each reconstructed fish. We release two paired datasets: synchronized top- and front-view recordings of 120 individual fish across 6 species, and the controllable assets and individual swimming policies derived from them. Because every asset is tied to the animal it came from, the dataset supports a benchmark that evaluates locomotion learning not only on task success but on fidelity to that individual in trajectory shape, body curvature, and tail-beat frequency, across trajectory following, reward-free swimming behavior transfer from video, and a downstream case study in which a simulated BlueROV underwater robot captures one of the assets. We find that task success and locomotion fidelity do not necessarily improve together: the method achieving the highest task completion is not the method achieving the highest locomotion fidelity, and we identify faithful reproduction of individual animal locomotion as an open challenge for the community. Project website: https://hangongchen.github.io/video2swimfish-web/.