Controllable and Photorealistic Pedestrian Risky Motion Generation for End-to-End Driving Safety Evaluation

📄 arXiv: 2610.06171v1 📥 PDF

作者: Siyuan Liu, Miao Li, Haibao Yu, Haohong Lin, Qing Zhou, Bingbing Nie, Ding Zhao

分类: cs.RO

发布日期: 2026-10-05

备注: 9 pages, 7 figures, Website at https://controlped.netlify.app

💡 一句话要点

提出ControlPed框架以解决行人风险动作生成问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 行人风险动作生成 自动驾驶安全评估 3D高斯点云 运动扩散 交通行为分析

📋 核心要点

  1. 现有的轨迹生成方法无法合成真实的视觉场景，而视频生成方法又缺乏足够的可控性，导致在安全评估中存在挑战。
  2. ControlPed框架通过结合轨迹级冲突合成与3D高斯点云渲染，能够生成可控的逼真场景，提升了安全评估的有效性。
  3. 在88个生成的逼真场景中，七个主流的端到端驾驶模型的性能显著下降，揭示了其在处理危险行人行为时的脆弱性。

📝 摘要（中文）

在评估端到端自主驾驶时，尤其是在稀有且安全关键的车辆与行人交互场景中，需要生成逼真的传感器级场景。然而，基于轨迹的场景生成器无法合成原始视觉观察，而基于视频的方法缺乏可控性。为了解决这一问题，本文提出了ControlPed框架，结合了轨迹级冲突合成与3D高斯点云渲染，生成可控的逼真安全关键场景。ControlPed基于HazardPed数据集，该数据集来源于10,352个交通视频，包含422个冲突轨迹、高清地图和857个标注的3D人类动作。通过生成冲突轨迹、利用文本条件的运动扩散提升为3D人类动作序列，并最终使用可动画的3D高斯点云渲染多视角传感器观察，进行安全评估。实验结果显示，七个领先的端到端驾驶模型在危险行人行为下性能严重下降，平均HDScore从88.8降至47.4，揭示了主要的失效模式。

🔬 方法详解

问题定义：本文旨在解决在稀有且安全关键的车辆与行人交互场景中，如何生成逼真且可控的运动场景的问题。现有方法在视觉合成和可控性方面存在明显不足。

核心思路：ControlPed框架的核心思路是将轨迹级冲突合成与3D高斯点云渲染相结合，以生成高质量的安全关键场景，从而提高对行人风险行为的评估能力。

技术框架：该框架主要分为三个阶段：首先生成冲突轨迹；其次通过文本条件的运动扩散将轨迹提升为3D人类动作序列；最后使用可动画的3D高斯点云渲染多视角传感器观察。

关键创新：ControlPed的创新之处在于其结合了轨迹合成与3D高斯点云渲染的能力，使得生成的场景不仅逼真且具有高度的可控性，这是与现有方法的本质区别。

关键设计：在设计中，采用了文本条件的运动扩散技术来提升人类动作序列，并在渲染阶段使用了可动画的3D高斯点云，以确保生成场景的真实感和动态表现。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在88个生成的逼真场景中，七个领先的端到端驾驶模型的平均HDScore从88.8降至47.4，性能下降幅度显著，揭示了在危险行人行为下的主要失效模式。这一发现为未来的安全评估提供了重要依据。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶系统的安全评估、交通行为分析以及智能交通系统的开发。通过生成逼真的行人风险动作场景，能够有效提升自动驾驶系统在复杂交通环境中的安全性和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Evaluating end-to-end autonomous driving under rare, safety-critical vehicle-pedestrian interactions requires photorealistic, sensor-level scenarios. However, trajectory-based scenario generators cannot synthesize raw visual observations, whereas video-based approaches lack controllability. To bridge this gap, we present ControlPed, a novel framework that combines trajectory-level conflict synthesis with 3D Gaussian Splatting (3DGS) to generate photorealistic, motion-controllable safety-critical scenarios. Built upon HazardPed, a dataset derived from 10,352 traffic videos comprising 422 conflict trajectories, HD maps, and 857 annotated 3D human motions, ControlPed first generates conflict trajectories, lifts them into 3D human motion sequences via text-conditioned motion diffusion, and finally renders multi-view sensor observations using animatable 3DGS avatars. Safety evaluation in 88 rendered photorealistic scenarios reveals that seven leading end-to-end driving models suffer a severe performance drop, with their mean HDScore plunging from 88.8 to 47.4, exposing major failure modes under dangerous pedestrian behaviors. The dataset and testing benchmarks will be released to facilitate safety assessment of vehicle-pedestrian interactions.