Splat2Act: From Captured Scenes to Personalized VLA Manipulation
作者: Xiaomeng Ye, Krishna Jaganathan, Gyubeum Lim, Gunjan Chhablani, Muhammad Zubair Irshad, Zsolt Kira
分类: cs.RO, cs.CV
发布日期: 2026-10-09
备注: Project page: https://splat2act.github.io
💡 一句话要点
提出Splat2Act以解决个性化VLA操作问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 个性化策略 自动化管道 3D重建 机器人操作 家庭自动化 智能环境
📋 核心要点
- 现有的通用操作策略在特定环境中表现不佳，未经过适应的情况下成功率为0%。
- Splat2Act通过自动化的真实到模拟再到真实的管道，利用手机扫描和用户物体图像，个性化VLA策略。
- 在实验中，该方法在101个校园环境中实现了852个接收器和68,000个演示，个性化策略成功率达到62.5%。
📝 摘要（中文）
用户希望将通用操作策略应用于家庭或办公室，但现有策略在未适应的情况下在特定场景中的成功率为0%。本文提出Splat2Act，一个自动化的真实到模拟再到真实的管道，利用手持手机扫描和用户物体图像，个性化预训练的视觉-语言-动作（VLA）策略。该方法在建筑规模的室内环境中构建逼真的数字双胞胎，自动发现可用的接收器，生成成功的演示，并在101个扫描的校园环境中实现了852个接收器和超过68,000个拾取演示。最终，个性化策略在目标场景中的拾取成功率达到62.5%。
🔬 方法详解
问题定义：本文旨在解决通用操作策略在特定家庭或办公室环境中的低成功率问题。现有方法需要大量真实演示，成本高且不切实际。
核心思路：Splat2Act通过一个自动化的管道，将真实场景转化为模拟环境，再将模拟结果应用于真实世界，从而实现个性化的VLA策略。该方法只需用户提供场景和物体的扫描数据，降低了适应成本。
技术框架：该方法包括几个主要模块：首先，通过3D高斯点云构建逼真的数字双胞胎；其次，自动发现可用的接收器并构建可行的拾取任务；最后，利用特权模拟oracle生成成功的演示。
关键创新：Splat2Act的创新在于其能够处理建筑规模的室内环境，而非仅限于单个桌面，显著提高了适应性和实用性。
关键设计：在设计中，采用了3D高斯点云技术来实现高质量的环境重建，并通过两阶段的微调策略，首先适应公共物体资产，然后个性化到用户的物体上。
🖼️ 关键图片
📊 实验亮点
在实验中，个性化策略在目标场景中的拾取成功率达到62.5%，并在真实环境中实现了63.9%的成功率，接近模拟环境中的66.7%。这一结果表明，自动化的真实到模拟再到真实的训练方法能够有效个性化VLA操作策略。
🎯 应用场景
该研究的潜在应用领域包括家庭自动化、智能办公环境以及机器人助手等。通过个性化的VLA策略，机器人能够更有效地与用户的物品互动，提升用户体验和操作效率。未来，该技术有望在更广泛的场景中实现智能化操作。
📄 摘要（原文）
A user who brings a generalist manipulation policy into their home or office wants it to pick up their objects from their shelves, counters, and tables. Yet even a strong generalist like $π_{0.5}$ achieves 0% pickup success in our captured deployment scenes without adaptation, and collecting real demonstrations in every user's environment is prohibitively expensive. We present Splat2Act, an automated real-to-sim-to-real pipeline that personalizes a pretrained vision-language-action (VLA) policy to a specific scene and object set using only a handheld phone scan and images of the user's objects. Unlike prior real-to-sim work that reconstructs individual tabletops, Splat2Act operates on building-scale indoor environments: it builds a photorealistic digital twin with 3D Gaussian Splatting and collision geometry, automatically discovers tabletop and non-tabletop receptacles, constructs feasible pickup tasks, and generates successful demonstrations with a privileged simulation oracle, with only scene and object capture required from a human. Applied to 101 scanned campus environments with a median navigable area of 104.87 m$^2$ and 7 receptacles, the pipeline yields 852 receptacles and over 68,000 pickup demonstrations. We fine-tune $π_{0.5}$ in two stages: Stage 1 adapts to hundreds of public object assets, drawn either from the deployment scene alone or from all 101 scenes; Stage 2 personalizes to the user's own objects on the deployment scene's receptacles. Our strongest personalized policy reaches 62.5% aggregate pickup success in the target scene. Deployed on a real Stretch 3, the same policy achieves 63.9% success on a 12-task subset, closely tracking its 66.7% simulated success on those tasks. These results suggest that automated real-to-sim-to-real training can personalize VLA manipulation policies using only simulation-oracle data.