ReFract: Benchmarking Perspective Awareness in Language Model Agents with Text World Models
作者: Hainiu Xu, Vítor N. Lourenço, Mohnish Dubey, Yunfei Bai, Yulan He, Caroline Catmur, Aline Paes, Marco Caserta, Akash Chandrayan, Luca D'Angelo
分类: cs.AI
发布日期: 2026-10-02
💡 一句话要点
提出ReFract基准以解决语言模型代理的视角意识问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 视角意识 代理评估 工业应用 文本世界模型 高风险环境 专家验证
📋 核心要点
- 现有的代理评估方法未能考虑用户角色的意图，导致代理在高风险环境中可能采取不当行动。
- 本文提出ReFract基准，通过150个专家验证的条目，要求代理根据用户角色的不同做出相应的反应。
- 实验结果表明，最先进的LLM在任务解决率上最高仅为69%，且超过50%的轨迹包含视角违反的尝试，显示出该领域的挑战性。
📝 摘要（中文）
大型语言模型（LLM）代理在工业维护和设备故障排除等高风险环境中越来越多地被应用。在这些场景中，代理必须根据用户的角色采取适当的行动和提供信息，以避免对设备造成不可逆转的损害。现有基准未能充分考虑代理在执行任务时需要推断用户角色的意图，并通过该角色可以合法使用的工具进行操作。为此，本文提出了ReFract基准，包含150个专家验证的条目，要求代理根据用户角色的不同对相同查询做出不同反应。ReFract揭示了视角意识作为代理评估的一个独特且尚未解决的维度，并激励代理不仅要学会如何行动，还要考虑为谁行动。
🔬 方法详解
问题定义：本文旨在解决现有语言模型代理在高风险环境中缺乏视角意识的问题。现有方法未能有效推断用户角色的意图，导致代理可能采取不当行动，造成设备损坏或人员伤害。
核心思路：论文提出ReFract基准，要求代理根据用户的角色对相同查询做出不同反应，从而实现视角意识的评估。这一设计旨在确保代理的行为符合用户的知识和能力边界。
技术框架：ReFract基准包含150个条目，基于匿名的领域支持对话构建文本世界模型，模拟代理的操作环境，并组装视角意识的行动轨迹。
关键创新：ReFract基准的最大创新在于将视角意识作为代理评估的独立维度，强调代理在执行任务时不仅要考虑如何行动，还要考虑为谁行动。这与现有方法的本质区别在于强调角色的多样性和复杂性。
关键设计：在ReFract中，条目经过专家验证，确保其有效性和可靠性。模型的设计考虑了用户角色的多样性，并通过构建文本世界模型来模拟真实的操作环境，确保代理的行为符合实际应用场景。
🖼️ 关键图片
📊 实验亮点
实验结果显示，最先进的语言模型在ReFract基准上的任务解决率最高仅为69%，且超过50%的轨迹包含视角违反的尝试。这表明视角意识在代理评估中的重要性和当前方法的不足，为未来的研究提供了新的方向。
🎯 应用场景
该研究的潜在应用领域包括工业维护、设备故障排除和其他需要高风险决策的场景。通过提升代理的视角意识，能够有效降低因错误决策导致的设备损坏和人员伤害风险，具有重要的实际价值和社会影响。未来，该方法可能会扩展到更多领域，如医疗、航空等需要高度专业化知识的行业。
📄 摘要（原文）
Large Language Model (LLM) agents are increasingly deployed in high-stakes settings such as industrial maintenance and equipment fault troubleshooting, where workers occupy a variety of roles. A capable agent must therefore act in a way that is calibrated to user's role: taking actions and providing information that respect the role's knowledge and capability boundaries. Unlike coding, where mistakes are usually recoverable, agent responses in these settings are enacted on physical equipment, and can therefore cause irreversible equipment damage, production loss, or personnel harm. Existing benchmarks, however, largely overlook the need for agents to infer what a role intends and acting only through tools that role may legitimately use, a capability which we term Perspective Awareness. To this end, we introduce ReFract, a benchmark of 150 expert-validated entries in which an agent must act differently in response to the same query depending on user's role. Entries of ReFract are grounded in anonymized queries from domain support conversations, against which we construct Text World Models that simulate the agent's operating environments and assemble perspective-aware action trajectories. State-of-the-art LLMs solve at most 69% of the tasks with more than 50% of their trajectories contain attempts of taking perspective-violating actions. ReFract exposes perspective awareness as a distinct, largely unsolved axis of agent evaluation and motivates agents that calibrate not just how to act, but for whom.