SYNCR: Diagnosing and Learning Cross-Video Reasoning from Simulation

📄 arXiv: 2609.37918v1 📥 PDF

作者: Sara Ghazanfari, Siddharth Garg, Prashanth Krishnamurthy, Farshad Khorrami

分类: cs.CV, cs.LG

发布日期: 2026-09-29

💡 一句话要点

提出SYNCR框架以解决跨视频推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨视频推理 模拟环境 任务生成 多模态学习 监督微调

📋 核心要点

  1. 现有方法在跨视频推理中面临事件对齐、身份匹配和运动比较等多重挑战，缺乏有效的评估和改进手段。
  2. SYNCR框架通过共享任务生成器，结合模拟环境，提供了可靠的标签和监督，支持跨视频推理的学习与评估。
  3. 实验结果显示，SYNCR在不同任务配置和视频源上均能提升模型性能，尤其在时间排序任务上表现出色，准确率提升显著。

📝 摘要（中文）

跨视频推理需要对事件进行对齐、身份匹配、运动比较和部分观察的整合。为了评估这些能力并测试如何改进它们，SYNCR作为一个基于模拟的框架应运而生，连接了可靠标签和有针对性的监督。该框架基于Habitat、Kubric和CLEVRER，提供了4000个评估问题和15960个训练问题，涵盖八个跨视频推理任务。实验结果表明，尽管大型多模态语言模型在物理比较和场景整合方面存在持续困难，但通过监督微调，Qwen3-VL-8B的平均准确率从32.6%提升至61.6%。

🔬 方法详解

问题定义：本论文旨在解决跨视频推理中的事件对齐、身份匹配和运动比较等问题，现有方法在这些方面的评估和改进手段不足。

核心思路：SYNCR框架通过模拟环境生成共享任务，提供可靠的标签和监督，从而提升跨视频推理的能力。该设计旨在通过系统化的评估和学习，解决现有方法的局限性。

技术框架：SYNCR框架基于Habitat、Kubric和CLEVRER，包含环境状态获取、问题生成和答案评估等主要模块，支持4000个评估问题和15960个训练问题的生成。

关键创新：SYNCR的创新在于其模拟环境的使用和共享任务生成器的设计，使得跨视频推理的学习和评估变得更加系统化和高效。与现有方法相比，SYNCR能够更好地诊断推理失败并测试其可学习性。

关键设计：在模型训练中，采用了监督微调策略，特别是针对Qwen3-VL-8B模型，使用了特定的损失函数和参数设置，以提升其在跨视频推理任务中的表现。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，Qwen3-VL-8B模型在SYNCR框架下的平均准确率从32.6%提升至61.6%，在时间排序任务上准确率提升9.0-20.5个百分点，展现了显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括视频监控、自动驾驶、智能家居等场景，能够帮助系统更好地理解和推理复杂的动态事件。未来，SYNCR框架有望推动跨视频理解技术的发展，提升智能系统的决策能力。

📄 摘要（原文）

Reasoning across videos requires aligning events, matching identities, comparing motion, and integrating partial observations. Evaluating these capabilities and testing how to improve them requires both reliable labels and targeted supervision. We introduce SYNCR, a simulator-grounded framework that connects these two needs through shared task generators. Built on Habitat, Kubric, and CLEVRER, SYNCR derives answers from environment state and provides 4,000 evaluation questions and 15,960 training questions over disjoint videos, spanning eight cross-video reasoning tasks. Visual ablations and human evaluation assess dependence on the supplied evidence and answer recoverability. Evaluation of 22 multimodal large language models reveals persistent difficulties in physical comparison and scene integration that increasing model size does not consistently resolve. Supervised fine-tuning raises Qwen3-VL-8B's average SYNCR accuracy from 32.6% to 61.6%, with gains extending to task configurations and video sources absent from training for those tasks. Transfer to real footage is most consistent for temporal ordering: accuracy improves by 9.0-20.5 percentage points on constructed Assembly101 and Panoptic ordering sets across three checkpoints spanning two model families and two model sizes, with additional gains on existing temporal reasoning benchmarks. These results establish SYNCR as a controlled setting for diagnosing cross-video reasoning failures, testing their learnability, and identifying where synthetic supervision transfers.