Scalable Context Orchestration for Serving LLMs Over Voice
作者: Linyi Jiang, Silvery D. Fu, Yifei Zhu
分类: cs.SD, cs.AI, eess.AS
发布日期: 2026-09-03
备注: Accepted for publication in ACM SOSP 2026
💡 一句话要点
提出llmovoice以解决语音AI应用中的上下文管理问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语音AI 上下文管理 大型语言模型 语音交互 环境适应性 智能助手 用户体验
📋 核心要点
- 现有LLM系统在处理语音交互时，未能有效管理语音特有的上下文信息，导致响应质量低下。
- llmovoice通过显式建模语音上下文，结合用户输入和环境状态，优化了语音交互的响应过程。
- 实验结果显示，llmovoice在语速对齐误差上降低了52.4%，并将模型使用成本降低了79.2%。
📝 摘要（中文）
随着大型语言模型（LLMs）的进步，语音AI应用变得越来越流行。然而，现有的LLM系统在处理用户语音时，往往将对话上下文表示为一个平坦的消息序列，忽略了语音特有的上下文信息。这导致生成的响应与用户偏好不匹配，且在不利环境条件下交互质量下降。为了解决这一问题，本文提出了llmovoice，一个上下文管理中间件，能够显式建模语音上下文并协调其使用。llmovoice在每个交互回合中构建一个有限的语音上下文，并利用LLM进行推理，从而生成指导系统响应的运行时指令。实验证明，llmovoice在真实语音应用中显著提高了性能。
🔬 方法详解
问题定义：现有的LLM系统在处理语音交互时，通常将对话上下文表示为一个平坦的消息序列，未能有效考虑语音特有的上下文信息，如说话速率和环境噪声。这导致生成的响应往往与用户的实际需求不匹配，影响交互质量，尤其在不利环境条件下表现更差。
核心思路：论文提出的llmovoice中间件通过显式建模语音上下文，结合用户输入、相关的交互历史以及环境状态，构建一个有限的语音上下文。这种设计使得系统能够更好地理解用户的意图，并生成更符合用户期望的响应。
技术框架：llmovoice的整体架构包括上下文构建模块、LLM推理模块和响应生成模块。上下文构建模块负责收集和整合用户输入及环境信息，LLM推理模块则利用这些信息生成运行时指令，最后响应生成模块根据指令输出最终的系统响应。
关键创新：llmovoice的主要创新在于其显式建模语音上下文的能力，区别于传统方法将上下文隐含在音频中。这种方法不仅提高了响应的相关性，还降低了在不利条件下的交互错误率。
关键设计：在设计中，llmovoice采用了特定的参数设置以优化语音上下文的构建，并使用了适应性损失函数来提高模型在不同环境下的鲁棒性。网络结构方面，结合了多层次的上下文信息处理机制，以确保对用户输入的全面理解。
🖼️ 关键图片
📊 实验亮点
llmovoice在真实语音应用中的实验结果显示，语速对齐误差降低了52.4%，在网络丢包情况下，错误中断率从46.0%降至0.9%。此外，模型使用成本降低了79.2%，在长时间会话中每轮成本最多降低24.9倍，同时保持高达98.7%的基线回答质量。
🎯 应用场景
llmovoice的研究成果在多个语音AI应用场景中具有广泛的潜在价值，包括智能助手、客服机器人和语音翻译等。通过优化语音交互的上下文管理，llmovoice能够提升用户体验，降低系统成本，并在复杂环境中保持高质量的交互效果。未来，该技术可能推动更多自然语言处理与语音识别的结合应用。
📄 摘要（原文）
Voice AI applications are gaining popularity as advances in large language models (LLMs) enable more natural and accessible spoken interactions. Serving these applications requires accounting not only for what users say, but also for how they speak (e.g., speaking rate) and the conditions under which their audio is captured and transmitted (e.g., background noise and packet loss). However, existing LLM systems represent conversation context as a flat, growing sequence of messages, leaving voice-specific context implicit in the audio. As a result, they can generate responses that are poorly aligned with user preferences, degrade interaction quality under adverse environmental conditions, and incur high costs over long voice sessions. We present llmovoice, a context-management middleware that explicitly models voice context and orchestrates its use. At each turn, llmovoice constructs a bounded voice context from the current user input, relevant interaction history, and explicit paralinguistic and environmental states. It then uses the serving LLM to reason over this context and generate runtime directives that guide how the system responds. We evaluate llmovoice on real-world voice applications and benchmarks. It reduces speaking-rate alignment error by 52.4%, lowers the false-interruption rate from 46.0% to 0.9% under packet loss, and reduces model usage cost by 79.2%. For long sessions, llmovoice reduces per-turn cost by up to 24.9 times while retaining up to 98.7% of baseline answer quality.