TextVBench: Evaluating Text Rendering and Preservation in Video Generation
作者: Ruiqiang Zhang, Hengyi Wang, Chang Liu, Guanjie Wang, Zehua Ma, Weiming Zhang
分类: cs.CV
发布日期: 2026-10-09
💡 一句话要点
提出TextVBench以解决视频生成中文本渲染与保留问题
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 视频生成 文本渲染 多目标评估 时空对应 计算机视觉 自然语言处理 模型评估
📋 核心要点
- 现有视频生成模型在文本渲染方面存在显著不足，常出现字符错误、遗漏或帧间变化等问题，难以准确评估。
- 本文提出TextVBench框架，将文本评估视为多目标、多实例的时空对应问题，提供了系统化的评估方法。
- 实验结果显示，MiniMax-H3在T2V TextVScore上达到68.32，Ref2V得分为56.51，随着参考文本区域数量增加，性能显著下降。
📝 摘要（中文）
现代视频生成器能够合成逼真的场景，但在文本渲染方面常常出现错误，包括字符渲染不正确、遗漏请求文本或在帧间变化。单独对每帧应用OCR来测量这些失败是困难的，因为在一个场景中可能存在多个文本目标和多个噪声OCR区域。为此，本文提出了TextVBench，一个将视觉文本评估形式化为多目标、多实例时空对应问题的基准和评估框架。TextVBench包含两个互补的轨道：TextVBench-T2V测量指定文本的创建和维护，而TextVBench-Ref2V测量参考图像中文本的保留。两个轨道都使用目标条件候选选择，支持一个目标映射到多个OCR区域，并将帧级空间保真度与跨帧时间保真度分开。通过长度加权的调和分数总结这些因素，同时额外的文本诊断揭示了单一OCR分数隐藏的失败模式。
🔬 方法详解
问题定义：本文旨在解决现代视频生成模型在文本渲染和保留方面的评估难题。现有方法在处理多个文本目标和噪声OCR区域时，无法有效区分和评估文本的准确性。
核心思路：TextVBench框架通过将视觉文本评估转化为多目标、多实例的时空对应问题，提供了一种新的评估方式，能够更准确地反映文本生成的质量。
技术框架：TextVBench包含两个主要轨道：TextVBench-T2V和TextVBench-Ref2V。前者关注于根据提示生成和维护文本，后者则关注于参考图像中文本的保留。两个轨道都采用目标条件候选选择，支持一个目标映射到多个OCR区域。
关键创新：最重要的创新在于将文本评估形式化为时空对应问题，并通过长度加权的调和分数来综合评估文本生成的质量。这种方法与传统的单一OCR评分方法有本质区别。
关键设计：在设计上，TextVBench使用了目标条件候选选择机制，允许多个OCR区域对应同一文本目标，并且将空间保真度与时间保真度分开评估，提供了更细致的性能分析。实验中还引入了额外的文本诊断工具，以揭示潜在的失败模式。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MiniMax-H3在TextVBench-T2V轨道上获得了68.32的TextVScore，而在Ref2V轨道上获得了56.51的得分。随着参考文本区域数量的增加，模型性能显著下降，揭示了文本生成中的关键挑战。
🎯 应用场景
TextVBench的研究成果在视频生成、计算机视觉和自然语言处理等领域具有广泛的应用潜力。它可以帮助开发更高效的文本生成模型，提高视频内容的可读性和准确性，推动多模态内容生成技术的进步。未来，该框架还可能被应用于其他需要文本渲染与保留的场景，如虚拟现实和增强现实等领域。
📄 摘要（原文）
Modern video generators can synthesize convincing scenes while rendering a few characters incorrectly, omitting requested text, or changing it across frames. Measuring these failures is harder than applying OCR independently to each frame: when a scene contains multiple text targets and multiple noisy OCR regions, the evaluator must first determine which observation belongs to which intended text. We introduce TextVBench, a benchmark and evaluation framework that formulates visual-text evaluation as a multi-target, multi-instance spatiotemporal correspondence problem. TextVBench contains two complementary tracks: TextVBench-T2V measures the creation and maintenance of prompt-specified text, while TextVBench-Ref2V measures preservation of text from reference images. Both tracks use target-conditioned candidate selection rather than unconstrained VLM transcription, support one target mapping to multiple OCR regions, and separate frame-level spatial fidelity from cross-frame temporal fidelity. A length-weighted harmonic score summarizes these factors, while extra-text diagnostics expose failure modes hidden by a single OCR score. The benchmark is organized around controlled text, layout, carrier, and motion attributes so that aggregate scores can be traced back to specific capability limits. Across the evaluated model runs, MiniMax-H3 reaches a T2V TextVScore of 68.32, while the strongest Ref2V score is 56.51; attribute slices reveal a pronounced drop as the number of simultaneous reference text regions increases.