Neural Router: Semantic Content Matching for Agentic AI
作者: Lauri Lovén, Abhishek Kumar, Alexander Engelhardt, Alaa Saleh, Roberto Morabito, Xiaoli Liu, Naser Hossein Motlagh, Sasu Tarkoma
分类: cs.DC, cs.CL, cs.IR, cs.NI
发布日期: 2026-05-25
备注: 35 pages, 12 figures. Combined main paper and electronic supplement, folded into one document for arXiv
💡 一句话要点
提出神经路由器，利用LLM进行语义内容匹配，赋能Agentic AI。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 语义匹配 Agentic AI 内容发布/订阅 边缘计算
📋 核心要点
- 现有基于关键词或嵌入的过滤方法难以有效处理Agentic AI中存在的词汇和模态差异。
- 论文提出神经路由器，利用LLM的语义理解能力，实现内容发布/订阅代理中的精准匹配。
- 实验表明，模型性能存在上下文窗口和区分能力两个交叉点，并强调了模型选择的重要性。
📝 摘要（中文）
本文提出了一种基于大型语言模型（LLM）的语义匹配引擎，用于在边缘-云计算连续体中实现Agentic AI的内容发布/订阅代理。该方法旨在弥合关键词和嵌入式过滤器无法克服的词汇和模态差距。论文将此问题定义为离线多标签检索，并在社交媒体、法律和智能家居传感器领域的三种公共数据集上进行了评估（使用了六个LLM和七个基线模型）。研究的核心贡献是双交叉成本-准确性特征：一个分析性的上下文窗口交叉点，低于该交叉点时，CoverAndMerge压缩管道可以减少LLM的调用次数；以及一个经验性的区分能力交叉点，高于该交叉点时，匹配准确率会崩溃，且崩溃程度取决于模型参数量和训练数据。研究发现，在区分交叉点之上，压缩无法恢复准确率，只有前沿规模的模型才能处理大型订阅集；后端选择比配置选择更重要，因此模型选择是主要的操作手段。此外，论文还提出了三种可组合的算法和一个用于自治LLM层选择的每个集群的体验质量框架。
🔬 方法详解
问题定义：现有Agentic AI系统在边缘-云环境中进行内容发布和订阅时，依赖于关键词或嵌入向量进行匹配，这些方法难以捕捉语义信息，导致匹配精度不高，无法有效处理词汇和模态的差异。尤其是在订阅规则复杂、数据模态多样的情况下，传统方法的局限性更加明显。
核心思路：论文的核心思路是利用大型语言模型（LLM）强大的语义理解能力，将LLM作为内容发布/订阅代理的语义匹配引擎。通过将发布内容和订阅规则输入LLM，利用LLM判断发布内容是否满足订阅规则，从而实现更精准的语义匹配。这种方法可以有效弥合词汇和模态的差距，提高匹配的准确率。
技术框架：整体框架包含以下几个主要模块：1) 内容编码模块：将发布内容和订阅规则转换为LLM可以理解的文本形式。2) LLM匹配模块：将编码后的内容输入LLM，利用LLM进行语义匹配，判断发布内容是否满足订阅规则。3) 压缩模块（CoverAndMerge）：在上下文窗口受限的情况下，对输入LLM的内容进行压缩，减少LLM的调用次数。4) QoE框架：根据集群的体验质量，自动选择合适的LLM层。
关键创新：最重要的创新点在于将LLM引入内容发布/订阅代理，利用LLM的语义理解能力进行匹配。与传统的关键词或嵌入向量匹配方法相比，该方法可以更准确地捕捉语义信息，提高匹配精度。此外，论文还提出了CoverAndMerge压缩算法，可以在上下文窗口受限的情况下减少LLM的调用次数。
关键设计：论文中涉及的关键设计包括：1) LLM的选择：实验中使用了多种LLM，包括不同参数规模和训练数据的模型。2) CoverAndMerge压缩算法：该算法通过覆盖和合并的方式对输入LLM的内容进行压缩，减少上下文长度。3) QoE框架：该框架根据集群的体验质量，自动选择合适的LLM层，以平衡性能和成本。
🖼️ 关键图片
📊 实验亮点
实验结果表明，模型性能存在两个关键交叉点：上下文窗口交叉点和区分能力交叉点。在区分能力交叉点之上，压缩算法无法恢复准确率，只有参数规模较大的模型才能处理大型订阅集。此外，实验还发现，后端模型选择比配置调整更重要，模型选择是提升性能的关键。
🎯 应用场景
该研究成果可应用于智能家居、社交媒体、法律等多个领域。例如，在智能家居中，可以利用该方法实现更智能的设备联动和个性化服务推荐；在社交媒体中，可以用于精准的内容推荐和过滤；在法律领域，可以用于快速检索相关案例和法规。该研究具有重要的实际应用价值和广阔的应用前景。
📄 摘要（原文）
Large language models (LLMs) can serve as the semantic-matching engine of a content-based publish/subscribe broker for agentic AI across the edge-cloud computing continuum, bridging the vocabulary and modality gaps that defeat keyword and embedding filters. Framed as offline multi-label retrieval over three public datasets spanning social-media, legal, and smart-home sensor domains (six LLMs, seven baselines), our central contribution is a two-crossover cost-accuracy characterisation: an analytical context-window crossover below which a CoverAndMerge compression pipeline reduces LLM invocations, and an empirical discrimination-capacity crossover above which matching accuracy collapses independently of context budget, by a model-dependent factor of parameter count and training generation. Two findings carry practical weight: above the discrimination crossover, compression cannot recover accuracy and only frontier-scale models clear large subscription sets; and there backend choice dominates configuration choice, so model selection, not pipeline tuning, is the primary operator lever. We accompany this with three composable algorithms and a per-cluster Quality-of-Experience framework for autonomic LLM-tier selection.