MetaEncoder: Exploring the Limit of Bi-Encoders for Multimodal System One Decision Making with Natural Language Interface

📄 arXiv: 2610.11316v1 📥 PDF

作者: Jianpeng Cheng, Guangyu Sun, Aashu Singh, Benyu Zhang, Haixing Dai, Hossein Mansour, Jiangfan Zhang, Shlok Kumar Mishra, Wei Sun, Xuanming Cui, Yanli Liu, Qi Guo, Max Xiangjun Fan, Jun Xiao

分类: cs.CL, cs.AI

发布日期: 2026-10-08

💡 一句话要点

提出MetaEncoder以解决多模态系统一决策中的自然语言接口问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态决策 自然语言处理 双编码器架构 对比学习 智能助手

📋 核心要点

  1. 现有的多模态决策模型通常依赖于结构化模式对象，限制了自然语言接口的灵活性和表达能力。
  2. MetaEncoder通过将用户请求和候选选项都用自然语言表达，采用双编码器架构，提升了决策过程的自然性和准确性。
  3. 在多模态决策任务中，MetaEncoder在多个基准测试中超越了现有的最先进模型，尤其在小闭集和大开放集场景中表现突出。

📝 摘要（中文）

本论文提出了一种全新的自然语言基础的系统一接口，旨在解决现有方法依赖结构化模式对象的问题。MetaEncoder通过对预训练的Muse-Glimmer 30B解码器进行微调，构建了一个指令跟随的决策编码器。该方法能够有效处理小型闭集和大型开放集候选空间，采用双编码器架构，通过单向对比学习实现请求与候选选项的对齐。论文在11个基准测试套件和190个任务上进行了广泛评估，展示了MetaEncoder在多模态决策、理解和检索任务中的优越性及其在推理密集型任务上的局限性。

🔬 方法详解

问题定义：本论文旨在解决现有多模态系统一决策模型在自然语言接口上的局限性，现有方法多依赖结构化模式对象，缺乏灵活性和自然性。

核心思路：MetaEncoder的核心思想是将用户请求和候选选项都用自然语言表达，利用双编码器架构进行请求与候选的对齐，从而实现更自然的决策过程。

技术框架：整体架构包括一个预训练的Muse-Glimmer 30B解码器，经过微调后作为决策编码器，采用单向对比学习进行训练，支持多模态输入（图像和视频）。

关键创新：MetaEncoder的主要创新在于其双编码器架构和单向对比学习方法，使其能够在小闭集和大开放集候选空间中有效工作，显著提升了决策的准确性和灵活性。

关键设计：在模型设计中，采用了特定的损失函数以优化请求与候选之间的对齐，网络结构经过精心设计以支持多模态输入，确保模型在不同任务中的适应性和性能。

📊 实验亮点

在实验中，MetaEncoder在11个基准测试套件和190个任务上表现优异，尤其在多模态决策和检索任务中超越了现有的最先进模型，显示出在小闭集和大开放集场景中的显著提升，具体性能数据未详述。

🎯 应用场景

MetaEncoder的研究成果在智能助手、自动化客服、以及多模态交互系统等领域具有广泛的应用潜力。通过提升自然语言接口的决策能力，该技术可以改善用户体验，增强系统的智能化水平，未来可能推动更多人机交互的创新。

📄 摘要（原文）

System One models output constrained decisions and probability distributions rather than free-form text generation. While prevailing paradigms rely on structured schema objects to encode state, intent, and candidate choices, we revisit a fully natural language-based System One interface. In this framework, both the user request and each candidate option are expressed in natural language, supported by multimodal (image and video) auxiliary inputs. We introduce MetaEncoder, which fine-tunes a pre-trained Muse-Glimmer 30B decoder into an instruction-following decision-making encoder. To scale effectively across both small closed-set (< 256) and massive open-set (millions) candidate spaces, MetaEncoder employs a bi-encoder architecture trained via unidirectional contrastive learning for request-candidate alignment. We conduct extensive evaluations across 11 benchmark suites and 190 tasks spanning multimodal decision-making, understanding (closed-set) and retrieval (open-set), highlighting where MetaEncoder beats SOTA multimodal encoders, as well as its current limits on reasoning-intensive tasks.