PolyOCR-Venus: Unified OCR Foundation Models for Text-Centric Visual Intelligence
作者: GuangJian Team, Kaili Huang, Yongshuo Zhang, Bingtao Fu, Changjiang Jiang, Chenfan Qu, Chenfeng Zhang, Fangming Cui, Gaoyang Zhang, Jiangwei Xie, Jianshu Li, Jing Huang, Jingwen Bai, Mingqi Fang, Tao Fang, Weihong Zhang, Wenbo Du, Xiongfei Bai, Xuekang Zhu, Yinan Xia, Zhenming Wang, Jian Liu, Jingjing Liu, Xiang Qi, Weiqiang Wang
分类: cs.CV, cs.AI
发布日期: 2026-09-29
备注: Technical Report
💡 一句话要点
提出PolyOCR以解决复杂视觉环境中的OCR任务平衡问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 光学字符识别 视觉智能 多任务学习 策略优化 数据引擎
📋 核心要点
- 现有OCR系统在复杂视觉环境中难以平衡文本识别、解析和推理，导致性能不足。
- PolyOCR通过共享指令框架和大规模数据引擎，提供统一的OCR解决方案，增强模型的多任务能力。
- 在多个基准测试中，PolyOCR实现了最先进或高度竞争的性能，展示了其有效性和广泛适用性。
📝 摘要（中文）
光学字符识别（OCR）正在从简单的文本转录向通用视觉智能演变，要求模型在复杂视觉环境中识别、定位和推理文本信息。然而，现有的OCR系统往往只能在某些任务上表现出色，难以在不同场景中平衡识别、解析和推理。本文提出了PolyOCR，一个统一的OCR基础模型系列，结合共享的指令跟随框架和大规模数据引擎，将异构视觉资源转化为高质量的OCR监督。我们引入了能力引导策略优化，结合基于验证者的组相对策略优化与基于教师可靠性和教师-学生能力差距的样本路由的在线蒸馏。通过在多个基准数据集上的广泛实验，PolyOCR展示了其在性能上的领先地位。
🔬 方法详解
问题定义：本文旨在解决现有OCR系统在复杂视觉环境中无法有效平衡识别、解析和推理的问题。现有方法往往在特定任务上表现良好，但在多任务场景中存在性能不足的挑战。
核心思路：PolyOCR的核心思想是通过构建一个统一的OCR基础模型系列，结合共享的指令跟随框架和大规模数据引擎，来提升模型在多任务环境中的表现。这样的设计使得模型能够更好地适应不同的视觉任务和场景。
技术框架：PolyOCR的整体架构包括多个模块，首先是共享的指令跟随框架，其次是大规模数据引擎，最后是能力引导策略优化模块。数据引擎负责将异构视觉资源转化为高质量的OCR监督，而策略优化模块则通过样本路由和在线蒸馏来提升模型能力。
关键创新：本文的关键创新在于引入了能力引导策略优化，结合了基于验证者的组相对策略优化与在线蒸馏。这种方法通过教师模型的可靠性和教师-学生能力差距来优化样本选择，从而提升了模型的学习效率和效果。
关键设计：在模型设计中，采用了多层次的网络结构和特定的损失函数，以确保模型在多任务学习中的有效性。此外，手动验证的注释修正和任务对齐的评分指标也被引入，以提高评估的准确性。
🖼️ 关键图片
📊 实验亮点
在多个基准测试中，PolyOCR展现了其卓越的性能。例如，在OCRBench v2.1和CC-OCR上，PolyOCR达到了最先进的性能，超越了现有的主流OCR系统，提升幅度显著，验证了其在多任务处理中的有效性。
🎯 应用场景
PolyOCR的研究成果具有广泛的应用潜力，特别是在文档分析、智能监控和人机交互等领域。通过提升OCR系统在复杂场景中的表现，PolyOCR能够为自动化办公、信息提取和增强现实等应用提供更为强大的支持，推动相关技术的进步与普及。
📄 摘要（原文）
Optical Character Recognition (OCR) is evolving from plain-text transcription toward general visual intelligence, requiring models to recognize, localize, and reason over textual information in complex visual environments. However, existing OCR systems often excel at only some tasks and struggle to balance recognition, parsing, and reasoning across scenarios. In this report, we present PolyOCR, a family of unified OCR foundation models of varying scales. PolyOCR combines a shared instruction-following framework with a large-scale data engine that converts heterogeneous visual resources into quality-verified OCR supervision. We introduce Competence-Guided Policy Optimization, which combines verifier-based Group Relative Policy Optimization with on-policy distillation through sample-wise routing based on teacher reliability and the teacher--student competence gap. We also introduce OCRBench v2.1, our revision of OCRBench v2 with manually verified annotation corrections and task-aligned scoring metrics. Extensive experiments across OCRBench v2.1, CC-OCR, in-house KIE Benchmark, OmniDocBench v1.6 and MDPBench demonstrate that PolyOCR achieves state-of-the-art or highly competitive performance.