More Than Seeing: Vision as Scalable Anchors in Native Multimodal Pre-Training
作者: Haoyuan Wu, Aoqi Wu, Jiani Hu, Bei Yu
分类: cs.CL
发布日期: 2026-10-14
💡 一句话要点
提出视觉内容作为多模态学习的可扩展锚点
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 视觉内容 文本预测 空间推理 模型扩展 计算预算 符号规划
📋 核心要点
- 现有的多模态预训练方法在理解视觉信号的能力上存在不足，尤其是在如何利用视觉信息提升文本理解方面。
- 论文提出通过控制性消融实验，探讨视觉内容在多模态学习中的作用，尤其是其对文本预测和空间推理的影响。
- 实验结果表明，保留视觉内容能够在不影响文本-only损失的情况下，显著提升图像-文本示例的文本预测能力，且空间推理能力随着模型和数据的扩展而改善。
📝 摘要（中文）
本研究探讨了原生多模态预训练如何从头开始训练单一模型以理解文本和视觉输入。通过对视觉内容的控制性消融实验，发现保留视觉内容能够提升图像-文本示例的文本预测能力，而不会显著改变文本-only损失或模型大小与训练数据的最佳平衡。研究还评估了仅依赖文本描述的空间推理能力，结果表明随着模型和数据的扩展，性能均有所提升。视觉内容被识别为多模态学习的可扩展锚点，其益处超越了视觉输入，同时保持了整体语言性能。
🔬 方法详解
问题定义：本研究旨在解决视觉信号如何影响多模态学习的扩展行为及其在视觉理解之外的能力支持的问题。现有方法未能充分揭示视觉内容的潜在价值。
核心思路：通过对图像嵌入进行内容无关的填充标记嵌入替换，研究视觉内容对文本预测的影响，探索其在多模态学习中的可扩展性。
技术框架：整体架构包括模型训练阶段，采用不同的视觉内容配置进行对比实验，评估文本预测和空间推理能力的变化。主要模块包括视觉内容处理、文本预测模块及空间推理评估。
关键创新：本研究的创新点在于识别视觉内容作为多模态学习的可扩展锚点，显示其在提升文本预测和空间推理能力方面的独特作用，与传统方法相比，强调了视觉信息的多重价值。
关键设计：在实验中，采用了不同的计算预算和模型规模，设置了相应的损失函数以平衡文本和视觉输入的学习，确保在不同条件下的性能评估。
🖼️ 关键图片
📊 实验亮点
实验结果显示，保留视觉内容在图像-文本示例的文本预测上提升了性能，而在空间推理任务中，随着模型和数据的扩展，性能也显著提高。相较于文本-only模型，视觉内容的引入使得多模态模型在定位、导航和符号规划等任务中表现更为优越。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动驾驶、机器人导航等，能够提升系统在复杂环境中的理解和决策能力。未来，随着多模态学习的进一步发展，可能会在教育、医疗等领域产生深远影响。
📄 摘要（原文）
Native multimodal pre-training trains a single model from scratch on text and multimodal data, enabling it to understand both language and visual inputs. However, how visual signals shape scaling behavior and support capabilities beyond visual understanding remains unclear. We investigate this question through controlled visual-content ablations across model sizes and training budgets. Specifically, we replace image embeddings with content-free padding token embeddings. Retaining visual content improves text prediction on image-text examples without materially changing the lowest text-only loss at a given compute budget, the optimal balance of model size and training data, or aggregate language scores. The relative multimodal loss benefit grows approximately as a power law of compute. To test benefits beyond understanding images, we evaluate spatial reasoning from text descriptions alone. Both conditions improve with model and data scaling. During training of the largest model, visual gains are most sustained in localization, navigation, and symbolic planning, which involve maintaining object configurations or composing spatial updates; gains in spatial relations, geometry, and physical commonsense are less consistent. These findings identify visual content as a scalable anchor for multimodal learning, with benefits that extend beyond visual inputs while preserving aggregate language performance.