Realtime-Bench: Can Frontier Models Solve Real-time Interactive Problems?
作者: Jingyu Tang, Xu Yang, Zhehao Zhang, Zheng Wang, Qi Cheng, Haozhe Zhao, Manling Li, Wenxuan Li, Xide Xia, Jiaxin Pei
分类: cs.AI
发布日期: 2026-10-15
💡 一句话要点
提出Realtime-Bench以解决实时交互问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 实时交互 动态任务 时间感知 智能体评估 决策质量 推理能力 多模态智能
📋 核心要点
- 现有的实时流模型评估主要关注对话质量和流媒体感知，未能有效测试在严格时间限制下的行动能力。
- 本文提出Realtime-Bench，设计了一系列动态任务，强调延迟行动对成功的影响，并引入不同的时钟机制进行评估。
- 实验结果显示，在Wall Clock条件下，最佳成功率仅为44%，揭示了实时交互的挑战和时间压力下的决策权衡。
📝 摘要（中文）
实时交互要求智能体在不断变化的环境中感知并在时间限制下行动，但现有的实时流模型评估主要集中在对话质量和流媒体感知上，未能有效测试在严格时间限制下的行动能力。本文提出了Realtime-Bench，一个精心策划的动态任务套件，强调延迟行动对成功的直接影响。实验结果显示，在实际推理延迟下，最佳成功率仅为44%，而最佳Pass^3仅为36%，表明实时交互仍然面临挑战。通过对比不同的时钟机制，发现时间成本限制了在不断变化环境中的成功率，并揭示了在时间压力下推理努力与决策质量之间的权衡。
🔬 方法详解
问题定义：本文旨在解决实时交互中智能体在动态环境下的感知与行动能力不足的问题。现有方法未能有效评估在严格时间限制下的行动效果，导致实时交互的成功率低下。
核心思路：论文提出Realtime-Bench，通过设计动态任务来测试智能体在时间压力下的表现，并引入Wall Clock、Paused Clock和Token Clock三种时钟机制，以分离推理延迟与模型的实时流处理能力。
技术框架：整体架构包括三个主要模块：动态任务设计、时钟机制评估和性能分析。动态任务模拟了实时交互场景，时钟机制用于控制时间流逝，性能分析则评估智能体在不同条件下的表现。
关键创新：最重要的创新点在于引入了Token Clock机制，能够独立于物理推理速度测试智能体的时间感知能力。这一设计与现有方法的本质区别在于能够更全面地评估智能体在动态环境中的表现。
关键设计：在实验中，采用了不同的延迟设置和任务复杂度，以评估智能体在时间压力下的决策质量。同时，设计了适应性推理策略，以提高在动态环境中的成功率。实验中使用的损失函数和网络结构经过精心调整，以适应实时交互的需求。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在Wall Clock条件下，最佳成功率仅为44%，而最佳Pass^3为36%。通过与Paused Clock和Token Clock的对比，揭示了时间成本对成功率的限制，强调了在时间压力下推理努力与决策质量之间的权衡。
🎯 应用场景
该研究的潜在应用领域包括智能机器人、自动驾驶、虚拟助手等实时交互系统。通过提升智能体在动态环境中的决策能力和时间感知，能够显著改善用户体验和系统效率，推动相关技术的实际应用和发展。
📄 摘要（原文）
Real-time interaction requires agents to perceive evolving environments and act under temporal constraints, yet existing evaluations of real-time streaming models focus on conversational quality and streaming perception, leaving effective action under strict temporal constraints untested. We introduce Realtime-Bench, a suite of carefully curated dynamic tasks where delayed actions directly affect success. Under Wall Clock, where environments advance according to actual inference latency, the best success rate reaches only 44% and the best Pass^3 is only 36%, demonstrating that real-time interaction remains challenging. To separate serving latency from models' real-time streaming capability, we compare Wall Clock with Paused Clock, which removes inference delays as an idealized reference, and introduce Token Clock, which advances simulated time according to generated token counts, testing temporal awareness independently of physical serving speed. We find that temporal costs limit success in evolving environments and that higher reasoning effort has mixed effects under time pressure, reflecting a trade-off between decision quality and timely execution. These findings suggest directions for improving real-time multimodal agents, including adaptive reasoning with temporal awareness and continuous perception and action.