Sustainable LLM Inference using Context-Aware Model Switching

📄 arXiv: 2602.22261 📥 PDF

作者: Yuvarani, Akashdeep Singh, Zahra Fathanah, Salsabila Harlen, Syeikha Syafura Al-Zahra binti Zahari, Hema Subramaniam

分类: cs.LG

发布日期: 2026-02-28

💡 一句话要点

提出上下文感知模型切换以解决大型语言模型能耗问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 能耗优化 模型切换 上下文感知 机器学习 用户自适应 推理效率

📋 核心要点

  1. 现有方法在处理不同复杂性任务时，普遍采用统一的推理策略，导致能耗高且效率低下。
  2. 论文提出的上下文感知模型切换方法，能够根据查询复杂性动态选择合适的语言模型，优化能耗。
  3. 实验结果显示，该方法能将能耗降低67.5%，同时保持93.6%的响应质量，简单查询响应时间提升约68%。

📝 摘要（中文）

大型语言模型在许多人工智能应用中扮演着核心角色，但其日益增长的能耗引发了严重的可持续性问题。当前AI部署的一个关键限制是依赖于统一的推理策略，导致在任务复杂性不同的情况下，所有请求都被路由到同一个大型模型，从而造成了显著且不必要的能量浪费。为了解决这一问题，本文提出了一种上下文感知模型切换的方法，根据查询复杂性动态选择合适的语言模型。该系统结合了缓存机制、基于规则的复杂性评分、机器学习分类和用户自适应组件，经过实验证明，该方法在保持响应质量的同时，能将能耗降低多达67.5%。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在推理过程中由于任务复杂性不同而导致的能耗浪费问题。现有方法通常采用统一的推理策略，无法有效应对不同复杂度的查询，造成不必要的能量消耗。

核心思路：论文提出的上下文感知模型切换方法，通过动态选择适合的语言模型来应对不同复杂性任务，结合缓存机制和机器学习分类，旨在提高能效和响应速度。

技术框架：该方法的整体架构包括多个模块：首先是查询的复杂性评分模块，其次是模型选择模块，接着是缓存机制，最后是用户自适应学习模块。这些模块协同工作，以实现高效的推理过程。

关键创新：本文的主要创新在于引入上下文感知的模型切换机制，能够根据实时查询的复杂性做出快速且可解释的决策，与传统的固定模型推理方法相比，显著提高了能效。

关键设计：在设计中，采用了基于规则的复杂性评分系统，结合机器学习分类器来捕捉语义意图，同时引入用户自适应组件以学习用户的交互模式，从而不断优化模型选择过程。

📊 实验亮点

实验结果表明，采用模型切换推理的方法能将能耗降低67.5%，而响应质量保持在93.6%。此外，简单查询的响应时间提升约68%，显示出该方法在实际应用中的显著优势。

🎯 应用场景

该研究的潜在应用领域包括智能客服、在线教育和内容生成等场景，能够有效降低能耗，提高系统的响应效率。未来，随着对可持续AI系统需求的增加，该方法可能会在更广泛的AI应用中得到推广，推动绿色计算的发展。

📄 摘要（原文）

Large language models have become central to many AI applications, but their growing energy consumption raises serious sustainability concerns. A key limitation in current AI deployments is the reliance on a one-size-fits-all inference strategy where most systems route every request to the same large model, regardless of task complexity, leading to substantial and unnecessary energy waste. To address this issue, we propose a context-aware model switching approach that dynamically selects an appropriate language model based on query complexity. The proposed system uses a Context-Aware Model Switching for Energy-Efficient LLM Inference that combines caching for repeated queries, rulebased complexity scoring for fast and explainable decisions, machine learning classification to capture semantic intent, and a user-adaptive component that learns from interaction patterns over time. The proposed architecture was evaluated using real conversation workloads and three open-source language models (Gemma3 1B, Gemma3 4B and Qwen3 4B) with different computational costs, measuring energy consumption (via NVML GPU power telemetry), response latency, routing accuracy, and output quality (BERTScore F1) to reflect real-world usage conditions. Experimental results show that the model switching approach can reduce energy consumption by up to 67.5% compared to always using the largest model while maintaining a response quality of 93.6%. In addition, the response time for simple queries also improved significantly by approximately 68%. These results show that model switching inference offers a practical and scalable path toward more energy-efficient and sustainable AI systems, demonstrating that significant efficiency gains can be achieved without major sacrifices in response quality.