QoNext: Towards Next-generation QoE for Foundation Models
作者: Yijin Guo, Zicheng Zhang, Ye Shen, Farong Wen, Junying Wang, Qi Jia, Guangtao Zhai
分类: cs.CL
发布日期: 2025-09-26 (更新: 2025-10-09)
💡 一句话要点
QoNext：面向大模型交互体验的下一代QoE评估框架
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大模型评估 用户体验 体验质量 QoE 人机交互 机器学习 预测模型
📋 核心要点
- 现有大模型评估侧重输出正确性，忽略了交互过程中的用户体验，无法有效指导模型优化。
- QoNext借鉴QoE原则，通过受控实验和用户评分，构建面向体验质量的评估框架。
- QoNext能够从系统参数预测用户体验，为大模型产品化服务提供细粒度评估和优化指导。
📝 摘要（中文）
现有的大模型评估方法，包括最近以人为中心的评估方法，都未能捕捉到真正重要的东西：用户在交互过程中的体验。当前的方法将评估视为单纯的输出正确性问题，忽略了用户满意度源于响应质量和交互之间的相互作用，这限制了它们解释用户体验背后机制的能力。为了解决这一差距，我们引入了QoNext，这是第一个将网络和多媒体中的体验质量（QoE）原则应用于大模型评估的框架。QoNext识别出影响用户体验的体验因素，并将它们纳入受控实验中，在不同的配置下收集人类评分。从这些研究中，我们构建了一个面向QoE的数据库，并训练预测模型，从可测量的系统参数中估计感知到的用户体验。我们的结果表明，QoNext不仅能够进行主动和细粒度的评估，而且还为优化大模型的实际产品化服务提供了可操作的指导。
🔬 方法详解
问题定义：现有大模型评估方法主要关注输出结果的正确性，而忽略了用户在与模型交互过程中的主观体验。这种以输出为中心的评估方式无法全面反映用户满意度，也难以指导模型在实际应用中的优化方向。现有方法缺乏对影响用户体验的关键因素的系统性分析和量化评估。
核心思路：QoNext的核心思路是将网络和多媒体领域广泛应用的体验质量（QoE）原则引入到大模型的评估中。QoE关注用户对服务的整体感知和满意度，而不仅仅是技术指标。QoNext通过识别影响用户体验的关键因素，并将其纳入评估体系，从而更全面地反映用户对大模型的真实感受。
技术框架：QoNext框架主要包含以下几个阶段：1) 确定影响用户体验的体验因素，例如响应速度、内容质量、交互流畅性等。2) 设计受控实验，在不同的系统配置下（例如不同的模型参数、不同的网络环境）进行用户交互。3) 收集用户对交互体验的评分数据。4) 构建QoE预测模型，利用机器学习方法，从可测量的系统参数（例如响应时间、吞吐量）预测用户体验评分。5) 利用预测模型进行模型优化和参数调整。
关键创新：QoNext的关键创新在于将QoE原则应用于大模型评估，从而将评估重点从单纯的输出正确性转移到用户体验。这使得评估结果更具实际意义，能够更好地指导模型在实际应用中的优化。此外，QoNext通过构建QoE预测模型，实现了对用户体验的主动和细粒度评估。
关键设计：QoNext的关键设计包括：1) 体验因素的选择：需要根据具体的应用场景选择合适的体验因素。2) 受控实验的设计：需要 carefully 设计实验参数，以确保能够有效地收集用户评分数据。3) QoE预测模型的选择：可以选择不同的机器学习模型，例如线性回归、支持向量机、神经网络等。4) 损失函数的设计：需要根据具体的评估目标设计合适的损失函数，例如均方误差、交叉熵等。
🖼️ 关键图片
📊 实验亮点
QoNext通过受控实验收集用户评分数据，构建了面向QoE的数据库。实验结果表明，QoNext能够有效地从系统参数预测用户体验，并为大模型优化提供指导。具体性能数据未知，但论文强调QoNext能够实现主动和细粒度的评估。
🎯 应用场景
QoNext可应用于各种基于大模型的交互式应用，例如智能客服、虚拟助手、教育机器人等。通过QoNext，开发者可以更准确地评估和优化大模型的用户体验，提升用户满意度，从而提高产品的竞争力。未来，QoNext有望成为大模型产品化服务的标准评估框架。
📄 摘要（原文）
Existing evaluations of foundation models, including recent human-centric approaches, fail to capture what truly matters: user's experience during interaction. Current methods treat evaluation as a matter of output correctness alone, overlooking that user satisfaction emerges from the interplay between response quality and interaction, which limits their ability to account for the mechanisms underlying user experience. To address this gap, we introduce QoNext, the first framework that adapts Quality of Experience (QoE) principles from networking and multimedia to the assessment of foundation models. QoNext identifies experiential factors that shape user experience and incorporates them into controlled experiments, where human ratings are collected under varied configurations. From these studies we construct a QoE-oriented database and train predictive models that estimate perceived user experience from measurable system parameters. Our results demonstrate that QoNext not only enables proactive and fine-grained evaluation but also provides actionable guidance for productized services of optimizing foundation models in practice.