Task-Aware LLM Council with Adaptive Decision Pathways for Decision Support

📄 arXiv: 2601.22662v1 📥 PDF

作者: Wei Zhu, Lixing Yu, Hao-Ren Yao, Zhiwen Tang, Kun Yue

分类: cs.AI, cs.MA

发布日期: 2026-01-30

备注: A shorter version of this work has been accepted by ICASSP 2026

💡 一句话要点

提出任务感知LLM委员会（TALC），用于自适应决策支持。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 决策支持 蒙特卡洛树搜索 任务自适应 专家系统

📋 核心要点

  1. 现有方法忽略了不同LLM在决策任务中的专业性差异，限制了其适应不同任务复杂度的能力。
  2. TALC通过集成LLM委员会和蒙特卡洛树搜索，实现动态专家选择和高效多步规划，从而解决上述问题。
  3. 实验表明，TALC在任务成功率和搜索效率方面优于现有方法，验证了其有效性。

📝 摘要（中文）

大型语言模型（LLMs）在各种决策任务中表现出强大的能力。然而，现有方法通常忽略可用模型之间的专业化差异，将所有LLM视为同样适用，而忽略了任务特征。这限制了它们适应不同推理需求和任务复杂性的能力。本文提出了任务感知LLM委员会（TALC），这是一个任务自适应决策框架，它集成了LLM委员会和蒙特卡洛树搜索（MCTS），以实现动态专家选择和高效的多步规划。每个LLM都配备了一个结构化的成功记忆配置文件，该文件来自先前的任务轨迹，从而可以在当前推理上下文和过去的成功之间进行语义匹配。在每个决策点，TALC将控制权路由到上下文最合适的模型，并使用双信号机制估计节点值，该机制将基于模型的评估与历史效用分数融合。这些信号根据节点内方差进行自适应加权，并用于指导MCTS选择，从而使系统能够在探索深度和规划置信度之间取得平衡。在WebShop、HumanEval和24点游戏的实验表明，与强大的基线相比，TALC实现了更高的任务成功率和更高的搜索效率，从而验证了专业化感知路由和自适应规划的优势。

🔬 方法详解

问题定义：现有方法在决策任务中，没有充分利用不同LLM的专业性，一视同仁地对待所有LLM，导致无法根据任务特点选择最合适的模型，从而影响决策效果。痛点在于缺乏一种能够根据任务自适应选择LLM的机制。

核心思路：TALC的核心思路是构建一个LLM委员会，每个LLM都有自己的专业领域，并根据当前任务的上下文，动态选择最合适的LLM进行决策。通过蒙特卡洛树搜索（MCTS）进行多步规划，并结合模型评估和历史效用分数，自适应地调整探索深度和规划置信度。

技术框架：TALC框架包含以下主要模块：1) LLM委员会：由多个具有不同专业知识的LLM组成。2) 成功记忆配置文件：每个LLM都配备一个结构化的成功记忆配置文件，记录了其在先前任务中的成功经验。3) 语义匹配：在当前推理上下文和过去的成功经验之间进行语义匹配，选择最合适的LLM。4) 蒙特卡洛树搜索（MCTS）：用于多步规划，并结合模型评估和历史效用分数，自适应地调整探索深度和规划置信度。5) 双信号机制：融合模型评估和历史效用分数，估计节点值。

关键创新：TALC的关键创新在于：1) 任务感知的LLM选择：根据任务上下文动态选择最合适的LLM，而不是一视同仁地对待所有LLM。2) 自适应的规划策略：结合模型评估和历史效用分数，自适应地调整探索深度和规划置信度。与现有方法的本质区别在于，TALC能够根据任务特点和LLM的专业性，进行更有效的决策。

关键设计：成功记忆配置文件的构建方式，语义匹配算法的具体实现，双信号机制中模型评估和历史效用分数的融合方式，以及MCTS中探索深度和规划置信度的自适应调整策略是关键设计。论文中可能涉及一些超参数的设置，例如语义匹配的阈值，双信号机制中权重的调整系数等，这些细节会影响最终的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TALC在WebShop、HumanEval和24点游戏中均取得了显著的性能提升。例如，在WebShop任务中，TALC的任务成功率比基线方法提高了XX%。此外，TALC还提高了搜索效率，减少了计算资源的消耗。这些结果验证了TALC的有效性和优越性。

🎯 应用场景

TALC可应用于各种需要决策支持的场景，例如智能客服、自动驾驶、金融投资等。通过整合不同领域的专家模型，并根据任务特点进行自适应选择，可以提高决策的准确性和效率。未来，TALC可以扩展到更多领域，并与其他技术相结合，例如强化学习、知识图谱等，以实现更智能的决策支持。

📄 摘要（原文）

Large language models (LLMs) have shown strong capabilities across diverse decision-making tasks. However, existing approaches often overlook the specialization differences among available models, treating all LLMs as uniformly applicable regardless of task characteristics. This limits their ability to adapt to varying reasoning demands and task complexities. In this work, we propose Task-Aware LLM Council (TALC), a task-adaptive decision framework that integrates a council of LLMs with Monte Carlo Tree Search (MCTS) to enable dynamic expert selection and efficient multi-step planning. Each LLM is equipped with a structured success memory profile derived from prior task trajectories, enabling semantic matching between current reasoning context and past successes. At each decision point, TALC routes control to the most contextually appropriate model and estimates node value using a dual-signal mechanism that fuses model-based evaluations with historical utility scores. These signals are adaptively weighted based on intra-node variance and used to guide MCTS selection, allowing the system to balance exploration depth with planning confidence. Experiments on WebShop, HumanEval, and the Game of 24 demonstrate that TALC achieves superior task success rates and improved search efficiency compared to strong baselines, validating the benefits of specialization-aware routing and adaptive planning.