FlashRT: Agent Harness for Guiding Agents to Deploy Real-Time Multimodal Applications
作者: Krish Agarwal, Zhuoming Chen, Yanyuan Qin, Zhenyu Gu, Atri Rudra, Beidi Chen
分类: cs.LG
发布日期: 2026-07-20
💡 一句话要点
提出FlashRT以优化多模态应用的实时部署
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态应用 实时部署 代理优化 GPU加速 性能提升
📋 核心要点
- 现有的服务系统和自动并行编译器在多模态应用的高效部署上存在局限，导致需要手动优化以实现高性能。
- FlashRT通过引导编码代理进行多次转换，提升简单参考实现为优化的多GPU部署，灵活权衡延迟和吞吐量等目标指标。
- 实验表明，FlashRT在不同GPU平台上显著提升了应用性能，尤其在AMD MI355X GPU上实现了65%的延迟降低。
📝 摘要（中文）
FlashRT是一个代理框架，旨在指导开发者将简单的参考实现提升为优化的多GPU部署，以实现实时多模态应用的高效部署。现有的服务系统和自动并行编译器在转换和工作负载假设上存在局限，导致新应用的高性能实现需要手动优化。FlashRT通过链式程序范式，引导通用编码代理进行多次转换过程，最终在不同硬件预算下生成有效的部署。实验结果显示，FlashRT在NVIDIA B200 GPU上实现了高达70倍的延迟降低和2.8倍的吞吐量提升，在AMD MI355X GPU上则实现了3.6倍的吞吐量提升，展示了代理驱动优化的可扩展性。
🔬 方法详解
问题定义：论文旨在解决实时多模态应用的高效部署问题，现有方法在转换和工作负载假设上存在局限，导致性能提升依赖手动优化。
核心思路：FlashRT通过链式程序范式引导编码代理，进行多次转换和优化，自动生成高效的多GPU部署，旨在简化开发者的工作并提升性能。
技术框架：FlashRT的整体架构包括多个模块：首先，编码代理将参考实现转换为中间表示（IR），捕获数据依赖和持久状态范围；其次，通过顺序解释器验证IR；最后，进行静态分析以识别候选转换，并在测量门控优化循环中迭代实施和验证每个候选。
关键创新：FlashRT的主要创新在于其链式程序范式和多次转换过程，使得编码代理能够自动化地优化部署，而不是依赖于固定的转换和假设。
关键设计：在设计中，FlashRT关注于数据依赖的捕获和持久状态的管理，采用静态分析技术来识别优化机会，并通过测量门控循环确保每次优化的有效性。具体的参数设置和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，FlashRT在NVIDIA B200 GPU上实现了高达70倍的延迟降低和2.8倍的吞吐量提升，而在AMD MI355X GPU上则实现了3.6倍的吞吐量提升，展示了其在不同硬件平台上的优越性能，尤其在Qwen3-Omni文本到音频推理中，FlashRT的响应延迟比专家实现降低了65%。
🎯 应用场景
FlashRT的研究成果在实时多模态应用领域具有广泛的潜在应用价值，包括语音代理、互动视频生成等。通过优化部署，FlashRT能够显著提升这些应用的响应速度和处理能力，为开发者提供更高效的工具，推动多模态技术的发展和应用。未来，FlashRT可能在更广泛的硬件平台上实现更高的可扩展性和性能优化。
📄 摘要（原文）
Real-time multimodal applications, including voice agents and interactive video generation, compose heterogeneous models into pipelines whose efficient deployment requires application-specific decisions about placement, streaming, and intra-model parallelism. Existing serving systems and auto-parallelism compilers commit to limited transformations and fixed workload assumptions, so achieving high performance on a new application requires hand-crafting an efficient implementation. We present FlashRT, an agent harness that guides coding agents to lift simple developer-written reference implementations into optimized multi-GPU deployments that flexibly weigh target metrics like latency and throughput. Using a new chain-of-program paradigm, FlashRT directs a generic coding agent through a multi-pass transformation process where an agent transforms the reference into an intermediate representation (IR) to capture data dependencies and persistent-state scopes, validates this IR via a sequential interpreter, and performs static analyses to identify candidate transformations. Then, the agent iteratively implements, verifies, and benchmarks each candidate under a measurement-gated optimization loop to produce effective deployments that span different hardware budgets. Across various applications, including video world models and multimodal LLMs, FlashRT converts reference implementations into highly efficient deployments, delivering up to ~70x latency reduction and 2.8x throughput improvement on NVIDIA B200 GPUs. On AMD MI355X GPUs, FlashRT matches the peak latency reduction while increasing peak throughput improvement to 3.6x, demonstrating that agent-driven optimization can be more scalable on platforms with less mature expert optimization. In fact, for Qwen3-Omni text-to-audio inference, FlashRT reduces response latency by 65% compared to the expert vLLM-Omni implementation on AMD MI355X.