REBAR: Reference Ethical Benchmark for Autonomy Readiness

📄 arXiv: 2605.18423v1 📥 PDF

作者: Jonathan Diller, David Barnes, Rebekah Bogdanoff, Rhett Collier, Roddy Collins, Keith Fieldhouse, Yonatan Gefen, Cameron Johnson, Anuriha Kodali, Brad Kriel, Varun Murali, James Niehaus, Mish Sukharev, Joseph VanPelt, Anthony Hoogs, Vijay Kumar, Arslan Basharat

分类: cs.RO, cs.CY

发布日期: 2026-05-18

备注: To be presented at the 2026 Workshop on Robot Ethics - Ethical, Legal and User Perspectives in Robotics and Automation (WOROBET)

💡 一句话要点

提出REBAR框架以解决自主系统伦理评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 伦理评估 自主系统 量化测试 大语言模型 仿真环境 自主准备水平 神经符号模型

📋 核心要点

  1. 现有的伦理评估方法主要是定性的，缺乏量化指标，无法有效评估自主系统的伦理合规性。
  2. REBAR框架通过量化测试和评估，提供了可计算的自主准备水平（ARL），使用户能够评估系统的伦理表现。
  3. 通过使用神经符号大语言模型和逼真的仿真环境，REBAR实现了对自主系统的客观评估，提升了评估的准确性和可靠性。

📝 摘要（中文）

随着自主系统的不断进步，评估其伦理和法律合规性的客观指标变得至关重要，以便告知最终用户其局限性并确保责任追究。当前的伦理嵌入式人工智能框架大多是定性的，主要集中在系统设计上，而REBAR框架则提供了一种量化测试和评估的方法，通过将操作指标映射到可计算的自主准备水平（ARL）标准，量化伦理表现。该框架的关键创新包括使用神经符号大语言模型（LLM）来计算和解释场景的伦理难度，LLM驱动的大规模测试实例生成，以及多功能的逼真仿真环境。通过严格的测试流程评估白盒自主解决方案，REBAR提供了一个客观且可重复的基准评分，弥合了抽象原则与可验证、可追责的自主性之间的差距。

🔬 方法详解

问题定义：论文旨在解决自主系统伦理评估缺乏客观量化指标的问题。现有方法多为定性，无法有效指导用户理解系统的伦理合规性和局限性。

核心思路：REBAR框架通过量化测试和评估，提供了可计算的自主准备水平（ARL），使用户能够直观地评估系统在伦理方面的表现。

技术框架：REBAR的整体架构包括三个主要模块：1) 神经符号大语言模型（LLM）用于计算伦理难度；2) LLM驱动的测试实例生成；3) 逼真的仿真环境用于测试和评估。

关键创新：REBAR的关键创新在于结合了神经符号大语言模型与量化评估，能够解释伦理难度并生成测试实例，这与现有方法的定性评估形成鲜明对比。

关键设计：在设计中，REBAR使用了特定的参数设置和损失函数，以确保生成的测试实例具有代表性，并通过仿真环境进行严格的评估，确保结果的可靠性。

📊 实验亮点

REBAR框架通过严格的测试流程，成功地为白盒自主解决方案提供了客观的基准评分。与传统方法相比，REBAR在伦理评估的准确性和可重复性上有显著提升，具体性能数据尚未披露。

🎯 应用场景

REBAR框架在多个领域具有广泛的应用潜力，包括自动驾驶、无人机、机器人等自主系统的伦理评估。通过提供客观的评估标准，REBAR能够帮助开发者和监管机构更好地理解和管理自主系统的伦理风险，推动技术的安全和负责任的发展。

📄 摘要（原文）

As autonomous systems grow more advanced, objective metrics to evaluate their ethical and legal compliance are critical for informing end users of their limitations and ensuring accountability of those who misuse them. Current ethical embodied AI frameworks remain mostly qualitative, focusing on system design (through safety guardrails or targeted red teaming), and the realized guardrails often directly disallow unsafe behavior without providing the user with an override or interpretable reason. Instead, there is a need for computable metrics through rigorous testing that allow a user to determine the applicability of the system to the task. To address this gap, we introduce the Reference Ethical Benchmark for Autonomy Readiness (REBAR), a quantitative test and evaluation framework for autonomous systems. REBAR maps operating metrics into a computable Autonomy Readiness Level (ARL) rubric that can quantify ethical performance. Key innovations of the framework include a neuro-symbolic Large Language Model (LLM) approach to calculate and explain the ethical difficulty of scenarios, LLM-driven at-scale generation of test instances, and a versatile, photorealistic simulation environment. By evaluating white-box autonomy solutions through this rigorous testing pipeline, REBAR delivers an objective and repeatable benchmark score, bridging the gap between abstract principles and verifiable, accountable autonomy.