QoS-Aware Federated Learning for Multimodal In-Cabin Interaction in Smart Vehicles

📄 arXiv: 2609.20123v1 📥 PDF

作者: Baran Can Gül, Mert Nakıp, Nasser Jazdi, Michael Weyrich

分类: cs.LG

发布日期: 2026-09-17

💡 一句话要点

提出FedQoS框架以解决智能车辆中多模态交互的QoS问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 多模态融合 智能车辆 服务质量 异步机制 资源感知 数据传输 个性化服务

📋 核心要点

  1. 现有的联邦学习方法未能有效处理智能车辆中多模态传感器的异构性和QoS约束，导致安全和能量问题。
  2. 本文提出FedQoS框架，通过异步事件触发机制和资源感知策略，优化了多模态数据的本地学习和全局通信。
  3. 实验结果表明，FedQoS在个性化准确性上与FedAvg相当，同时显著降低了QoS违规和通信开销，提升了系统效率。

📝 摘要（中文）

现代智能车辆利用多模态传感器提供个性化的车内服务，但高保真多模态融合与协作训练的整合常受到异构和时变的服务质量（QoS）约束的影响。标准的联邦学习（FL）方法强制执行严格的同步轮次，未能考虑这些资源不对称性，导致安全关键的时序违规和能量耗尽。本文提出了一种新颖的异步事件触发FL框架FedQoS，通过两阶段门控机制将本地计算与全局通信解耦。首先，引入资源感知训练门，仅在感知缓冲区和能量储备满足安全阈值时初始化本地学习，防止机器学习任务妨碍核心车辆移动性。其次，QoS感知传输策略根据效率评分对上行更新进行门控，平衡模型新颖性与瞬时延迟和能量成本。大量实验表明，FedQoS在个性化准确性上与FedAvg相当，同时显著减少QoS违规，通信开销降低76.7%，延迟成本降低26.0%，在实际车辆部署中展现出良好的准确性与效率平衡。

🔬 方法详解

问题定义：本文旨在解决智能车辆中多模态传感器数据融合与协作训练的QoS约束问题。现有的联邦学习方法在面对异构资源时，常常导致安全时序违规和能量耗尽，无法满足实时性要求。

核心思路：FedQoS框架通过异步事件触发机制，将本地计算与全局通信解耦，确保在资源条件满足时进行本地学习，同时优化数据上传的QoS。

技术框架：FedQoS的整体架构包括两个主要模块：资源感知训练门和QoS感知传输策略。前者在资源条件满足时启动本地学习，后者根据效率评分控制更新的上传时机。

关键创新：FedQoS的创新在于其异步事件触发机制和资源感知策略，区别于传统的同步FL方法，能够有效应对车辆网络中的资源不对称性。

关键设计：在设计中，训练门的启动条件依赖于感知缓冲区和能量储备的安全阈值，而QoS传输策略则通过效率评分动态调整上传时机，确保模型更新的及时性与能量效率。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，FedQoS在个性化准确性上与FedAvg相当，同时QoS违规减少，通信开销降低76.7%，延迟成本降低26.0%。这些结果表明FedQoS在实际应用中具有显著的性能优势和效率提升。

🎯 应用场景

该研究在智能车辆的多模态交互中具有广泛的应用潜力，能够提升车内服务的个性化和实时性。通过优化资源使用，FedQoS框架可为未来的智能交通系统提供更高效的解决方案，推动自动驾驶和智能出行的发展。

📄 摘要（原文）

Modern smart vehicles leverage multimodal sensors, ranging from high-bandwidth vision systems to low-rate physiological monitors, to provide personalized in-cabin services. However, integrating high-fidelity multimodal fusion with collaborative training is often hindered by the heterogeneous and time-varying Quality of Service (QoS) constraints of vehicular networks. Standard Federated Learning (FL) approaches enforce rigid synchronous rounds that fail to account for these resource asymmetries, leading to safety-critical timing violations and energy exhaustion. In this paper, we propose FedQoS, a novel asynchronous, event-triggered FL framework that decouples local computation from global communication via a two-phase gating mechanism. First, we introduce a resource-aware training gate that initializes local learning only when sensing buffers and energy reserves meet safety thresholds, preventing ML tasks from compromising core vehicle mobility. Second, a QoS-aware transmission policy gates uplink updates based on an efficiency score that balances model novelty against instantaneous latency and energy costs. Locally, clients optimize an objective featuring a staleness-aware proximal term that dynamically adjusts the global anchor strength based on update age. Extensive experiments on multimodal vehicular datasets demonstrate that FedQoS achieves competitive personalized accuracy with only marginal performance loss compared to FedAvg, while substantially reducing QoS violations, cutting communication overhead by 76.7\%, and lowering latency cost by 26.0\%, demonstrating a highly favorable accuracy and efficiency balance for real-world vehicular deployments.