Meta Engine: A Unified Semantic Query Engine on Heterogeneous LLM-Based Query Systems

📄 arXiv: 2602.01701v1 📥 PDF

作者: Ruyu Li, Tinghui Zhang, Haodi Ma, Daisy Zhe Wang, Yifan Wang

分类: cs.DB, cs.AI

发布日期: 2026-02-02

💡 一句话要点

提出Meta Engine，统一异构LLM语义查询系统，解决多模态数据查询难题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语义查询 多模态数据 大型语言模型 查询引擎 异构系统集成

📋 核心要点

  1. 现有基于LLM的语义查询系统API不统一，且在专业性和通用性之间存在trade-off，限制了多模态数据的有效查询。
  2. Meta Engine通过构建一个“查询系统之上的查询系统”，统一集成异构的LLM语义查询系统，实现高效的多模态数据查询。
  3. 实验结果表明，Meta Engine在F1指标上显著优于现有基线方法，在大多数情况下提升3-6倍，特定数据集上高达24倍。

📝 摘要（中文）

随着多模态数据的日益普及，数据管理系统中对语义查询的需求也越来越高，这是一种访问和分析多模态数据的重要方式。由于多模态数据（文本、图像、视频等）的大部分信息隐藏在语义中，而这些语义无法通过传统的SQL等数据库查询来访问。鉴于大型语言模型（LLM）在理解语义和处理自然语言方面的强大能力，近年来涌现出一些基于LLM的语义查询系统，以支持对非结构化数据的语义查询。然而，这种快速增长导致了生态系统的碎片化。应用程序面临着巨大的集成挑战，原因在于（1）不同语义查询系统的API各不相同，以及（2）专业化和通用性之间存在根本性的权衡。许多语义查询系统高度专业化，在单一模态中提供最先进的性能，但在处理多模态数据时却表现不佳。相反，一些“一体化”系统可以处理多种模态，但与特定模态中的专业系统相比，其性能通常欠佳。本文介绍了一种新颖的“查询系统之上的查询系统”——Meta Engine，旨在解决上述挑战。Meta Engine是一个统一的语义查询引擎，集成了异构的、专业的基于LLM的查询系统。其架构包括五个关键组件：（1）自然语言（NL）查询解析器，（2）算子生成器，（3）查询路由器，（4）一组适配器，以及（5）结果聚合器。在评估中，Meta Engine始终优于所有基线，在大多数情况下产生3-6倍更高的F1分数，在特定数据集上高达24倍。

🔬 方法详解

问题定义：论文旨在解决异构LLM语义查询系统集成困难的问题，现有方法要么是针对特定模态的专业系统，无法处理多模态数据；要么是通用系统，但在特定模态上的性能不如专业系统。这导致应用在选择和集成这些系统时面临挑战。

核心思路：Meta Engine的核心思路是构建一个统一的查询引擎，将不同的、专业的LLM语义查询系统集成起来，作为一个整体对外提供服务。通过智能路由查询到合适的后端系统，并聚合结果，从而兼顾专业性和通用性。

技术框架：Meta Engine的架构包含五个主要模块：(1) 自然语言查询解析器：负责解析用户输入的自然语言查询。(2) 算子生成器：将解析后的查询转换为一系列操作算子。(3) 查询路由器：根据查询的语义和数据类型，将查询路由到合适的后端LLM查询系统。(4) 适配器：负责与不同的后端系统进行交互，处理API差异。(5) 结果聚合器：将来自不同后端系统的结果进行整合，生成最终的查询结果。

关键创新：Meta Engine的关键创新在于其“查询系统之上的查询系统”的设计理念，以及实现这种理念的架构。它不是从头构建一个通用的查询系统，而是利用现有的、专业的系统，通过统一的接口和智能的路由，实现更高效、更灵活的多模态数据查询。

关键设计：查询路由器是关键设计之一，需要根据查询内容和后端系统的能力进行智能决策。适配器的设计需要考虑不同后端系统的API差异，实现无缝集成。结果聚合器需要处理不同后端系统返回结果的格式差异，并进行有效的融合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Meta Engine在多个数据集上显著优于现有基线方法。在大多数情况下，Meta Engine的F1分数比基线方法高出3-6倍，在某些特定数据集上甚至高达24倍。这证明了Meta Engine在统一异构LLM语义查询系统方面的有效性和优越性。

🎯 应用场景

Meta Engine可应用于智能客服、多模态信息检索、智能文档分析等领域。它能够帮助用户更方便地从各种非结构化数据中提取信息，提升数据分析和决策效率。未来，该技术有望推动多模态数据在各行各业的广泛应用。

📄 摘要（原文）

With the increasingly use of multi-modal data, semantic query has become more and more demanded in data management systems, which is an important way to access and analyze multi-modal data. As unstructured data, most information of multi-modal data (text, image, video, etc) hides in the semantics, which cannot be accessed by the traditional database queries like SQL. Given the power of Large Language Model (LLM) in understanding semantics and processing natural language, in recent years several LLM-based semantic query systems have been proposed, to support semantic querying over unstructured data. However, this rapid growth has produced a fragmented ecosystem. Applications face significant integration challenges due to (1) disparate APIs of different semantic query systems and (2) a fundamental trade-off between specialization and generality. Many semantic query systems are highly specialized, offering state-of-the-art performance within a single modality but struggling with multi-modal data. Conversely, some "all-in-one" systems handle multiple modalities but often exhibit suboptimal performance compared to their specialized counterparts in specific modalities. This paper introduces Meta Engine, a novel "query system on query systems", designed to resolve those aforementioned challenges. Meta Engine is a unified semantic query engine that integrates heterogeneous, specialized LLM-based query systems. Its architecture comprises five key components: (1) a Natural Language (NL) Query Parser, (2) an Operator Generator, (3) a Query Router, (4) a set of Adapters, and (5) a Result Aggregator. In the evaluation, Meta Engine consistently outperforms all baselines, yielding 3-6x higher F1 in most cases and up to 24x on specific datasets.