Kuration SDK: Addressing the Virtual2Real Gap via Data Curation

📄 arXiv: 2610.09305v1 📥 PDF

作者: Nirmit Desai, Eric Song, Mayank Sengupta, Tejal Bedmutha, Siri Reddy, Sahiti Dharmavaram, Kunal Sawarkar

分类: cs.LG, cs.AI, cs.CV, cs.RO

发布日期: 2026-10-07

💡 一句话要点

提出Kuration SDK以解决虚拟与现实之间的差距问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 虚拟现实 数据策划 动作条件模型 游戏AI 模型评估

📋 核心要点

  1. 现有的动作条件世界模型训练基准在提供有效信号方面存在局限，无法有效评估模型的真实表现。
  2. 论文提出Kuration SDK，通过策划原始游戏数据并测量多种属性，提供更可靠的信号以弥补虚拟与现实之间的差距。
  3. 实验表明，尽管两个世界模型在LPIPS和FVD评分上相似，但在实际游戏中表现差异显著，Kuration SDK帮助识别了这一差异的根本原因。

📝 摘要（中文）

当前用于评估动作条件世界模型质量的基准正在逐步演变，从基于视觉相似度的指标转向基于动作语义和物理基础的指标。然而，现有基准在领域和任务无关的动作条件世界模型训练中提供的信号有限。通过在反恐精英游戏数据上训练和评估扩散世界模型，我们确认定性可玩性与FVD、LPIPS和JEDi等指标并不对应。我们称之为虚拟与现实之间的差距。我们提出了一种数据策划的方法，通过策划原始游戏数据并测量多种诊断属性，提供更可靠的信号，以弥补这一差距。我们介绍了几种策划策略和一个通用的物理AI数据策划工具包Kuration SDK，并开源了该工具包。

🔬 方法详解

问题定义：论文要解决的问题是虚拟与现实之间的差距，现有方法在评估动作条件世界模型时依赖于有限的视觉相似度指标，导致无法准确反映模型的真实表现。

核心思路：论文的核心思路是通过策划原始游戏数据，测量多种诊断属性，以提供更可靠的信号，帮助理解和缩小虚拟与现实之间的差距。

技术框架：整体架构包括数据策划模块、诊断属性测量模块和模型评估模块。数据策划模块负责收集和整理原始游戏数据，诊断属性测量模块用于分析数据特征，模型评估模块则用于评估训练后的模型表现。

关键创新：最重要的技术创新点在于Kuration SDK的提出，它为物理AI数据策划提供了一个通用工具，能够在训练前识别数据中的潜在问题，从而提高模型的训练效率和效果。

关键设计：在Kuration SDK中，关键设计包括多种数据策划策略、诊断属性的选择以及与现有指标（如FVD和LPIPS）的结合使用，以确保全面评估模型的表现。具体参数设置和损失函数设计尚未详细披露。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，尽管两个世界模型在LPIPS和FVD评分上相似，但在实际游戏中的表现却有显著差异。Kuration SDK帮助识别了这一差异的根本原因，表明其在数据策划和模型评估中的重要性。

🎯 应用场景

该研究的潜在应用领域包括游戏开发、机器人训练和虚拟现实等。通过Kuration SDK，开发者可以更有效地策划和评估训练数据，从而提高模型的训练效率和实际应用效果，推动相关领域的技术进步。

📄 摘要（原文）

Benchmarks for measuring the quality of action-conditioned world models are still evolving and shifting away from visual similarity-based metrics to action-semantic and physically-grounded metrics. However, for domain and task-agnostic action-conditioned world model training, existing benchmarks provide a limited signal. By training and evaluating diffusion world models on CounterStrike gameplay data, we confirm that qualitative playability does not correspond with metrics such as FVD, LPIPS, and JEDi. We term this the Virtual2Real gap. We posit that, in lieu of reliable benchmarks, curating raw gameplay data and measuring a variety of diagnostic properties provides a more robust signal to bridge the gap, before the training even begins. We present several curation strategies and a general-purpose kit for physical AI data curation called Kuration SDK, which is being open-sourced with this paper. The SDK was instrumental in uncovering the root cause of the virtual2real gap in a specific case: why two world models trained on identical gameplay map, action and state distribution, behaved very differently when played in spite of having very similar LPIPS and FVD scores. Thus, Kuration SDK has the potential to uncover the root causes of Virtual2Real gap in specific datasets and accelerate development of sample-efficient training datasets.