RA-MoWE: Workflow-Affinity Embeddings for Query Clustering and Agentic Workflow Generation
作者: Qi Cheng, Shengyu Chen, Wei Cheng, Yiqun Xie, Haoyu Wang, Haifeng Chen, Xiaowei Jia
分类: cs.AI
发布日期: 2026-10-06
💡 一句话要点
提出RA-MoWE框架以解决查询聚类与工作流生成问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 查询聚类 工作流生成 大型语言模型 推理策略 嵌入编码器 自动化任务 智能助手
📋 核心要点
- 现有方法在优化工作流时，无法有效处理个别查询的推理策略差异，导致效率低下。
- RA-MoWE框架通过工作流亲和嵌入聚类查询，生成可重用的专家工作流，提升了任务解决效率。
- 在300个查询的测试中，RA-MoWE提高了4.04个百分点的任务得分，并减少了27.7%的模型调用次数。
📝 摘要（中文）
代理工作流使大型语言模型（LLMs）能够通过协调推理、工具使用和验证来解决复杂任务。然而，针对整个任务集合优化的工作流可能忽视个别查询所需的推理策略差异，而为每个查询寻找新工作流则会重复昂贵的优化。为了解决这一权衡，本文提出了RA-MoWE框架，利用工作流亲和嵌入来聚类查询并指导可重用专家工作流的生成。每个嵌入记录了固定参考工作流解决查询的效果，揭示了有效推理策略的相似性。RA-MoWE利用每个聚类的查询和平均嵌入来初始化和优化专门工作流。嵌入编码器从查询文本中预测这些嵌入，使新查询能够在不执行参考工作流的情况下选择生成的专家。在从数学、科学和编程等四个基准中抽取的300个查询测试集上，RA-MoWE的平均任务得分比选择参考工作流提高了4.04个百分点，同时推理时减少了27.7%的语言模型调用。
🔬 方法详解
问题定义：本文旨在解决在处理复杂任务时，现有工作流优化方法无法兼顾个别查询的推理策略差异的问题。这种方法导致了效率低下和重复优化的高成本。
核心思路：RA-MoWE框架的核心思路是利用工作流亲和嵌入来聚类查询，并基于这些聚类生成可重用的专家工作流。通过记录参考工作流对查询的解决效果，RA-MoWE能够识别出有效的推理策略。
技术框架：RA-MoWE的整体架构包括嵌入编码器、查询聚类模块和工作流生成模块。嵌入编码器从查询文本中提取特征，聚类模块根据亲和嵌入对查询进行聚类，而工作流生成模块则利用聚类结果生成和优化工作流。
关键创新：RA-MoWE的主要创新在于引入工作流亲和嵌入，能够有效聚类查询并指导专家工作流的生成。这一方法与传统的逐个查询优化方法本质上不同，避免了重复优化的高成本。
关键设计：在设计上，RA-MoWE使用了特定的嵌入编码器来预测查询的亲和嵌入，并通过执行反馈来初始化和优化工作流。此外，聚类算法的选择和参数设置也对最终效果有显著影响。
🖼️ 关键图片
📊 实验亮点
RA-MoWE在300个查询的测试集中，平均任务得分提高了4.04个百分点，且推理时减少了27.7%的语言模型调用次数，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化编程、科学计算等，能够显著提升大型语言模型在复杂任务中的效率和准确性。未来，RA-MoWE框架有望在多种领域中推广应用，推动智能系统的进一步发展。
📄 摘要（原文）
Agentic workflows enable large language models (LLMs) to solve complex tasks by coordinating reasoning, tool use, and verification. However, a workflow optimized for an entire task collection can overlook differences in the reasoning strategies that individual queries need, while searching for a new workflow for every query repeats costly optimization. To address this tradeoff, we introduce RA-MoWE, a framework that uses workflow-affinity embeddings to cluster queries and guide the generation of reusable expert workflows. Each embedding records how well a fixed set of reference workflows solves a query, revealing similarities in which reasoning strategies are effective. RA-MoWE uses each cluster's queries and average embedding to initialize and refine a specialized workflow through execution feedback. An embedding encoder predicts these embeddings from query text, allowing new queries to select a generated expert without first executing the reference workflows. On a 300-query test set drawn from four benchmarks spanning mathematics, science, and programming, RA-MoWE improves average task score by 4.04 percentage points over selecting among the reference workflows, while using 27.7% fewer language-model calls at inference.