From Literal to Liberal: A Meta-Prompting Framework for Eliciting Human-Aligned Exception Handling in Large Language Models

📄 arXiv: 2510.12864v1 📥 PDF

作者: Imran Khan

分类: cs.AI, cs.CL, cs.LG

发布日期: 2025-10-14

备注: 13 pages. Code and data are available at https://github.com/strongSoda/LITERAL-TO-LIBERAL

💡 一句话要点

提出RID框架，通过元提示提升LLM在异常处理中与人类意图对齐的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 元提示 异常处理 人类对齐 规则意图区分

📋 核心要点

  1. 现有LLM在智能体应用中表现出“规则刚性”，即过度依赖显式规则，导致决策与人类常识和意图不符，影响了智能体的可信度。
  2. 论文提出Rule-Intent Distinction (RID)框架，通过元提示技术，使LLM能够区分规则和意图，从而进行更符合人类意图的异常处理。
  3. 实验表明，RID框架在定制基准测试中显著提升了LLM的性能，人类对齐分数（HAS）达到95%，优于基线和CoT提示。

📝 摘要（中文）

大型语言模型（LLM）越来越多地被部署为智能AI系统的推理引擎，但它们存在一个关键缺陷：对显式规则的僵化遵守，导致决策与人类常识和意图不符。这种“规则刚性”是构建可信赖的自主代理的重要障碍。虽然先前的工作表明，使用人类解释进行监督微调（SFT）可以缓解这个问题，但SFT计算成本高昂，许多从业者无法使用。为了解决这个差距，我们引入了规则-意图区分（RID）框架，这是一种新颖的、低计算的元提示技术，旨在以零样本方式在LLM中引发与人类对齐的异常处理。RID框架为模型提供了一个结构化的认知模式，用于解构任务、分类规则、权衡冲突结果并证明其最终决策的合理性。我们在一个定制的基准上评估了RID框架，该基准包含20个需要在不同领域进行细致判断的场景，并与基线和思维链（CoT）提示进行了比较。我们经过人工验证的结果表明，RID框架显著提高了性能，达到了95%的人类对齐分数（HAS），而基线为80%，CoT为75%。此外，它始终产生更高质量、意图驱动的推理。这项工作提出了一种实用、可访问且有效的方法，用于引导LLM从字面指令遵循转向自由的、以目标为导向的推理，为更可靠和实用的AI代理铺平了道路。

🔬 方法详解

问题定义：LLM在作为智能体核心时，常常僵化地遵循预设规则，即使在某些情况下，遵循规则会导致不合理的或与人类意图相悖的结果。现有方法，如监督微调（SFT），虽然可以缓解这个问题，但计算成本高昂，难以广泛应用。因此，需要一种低成本的方法，使LLM能够进行更灵活、符合人类意图的异常处理。

核心思路：RID框架的核心在于引导LLM区分规则的字面意义和其背后的意图。通过提供一个结构化的认知模式，让LLM能够解构任务，对规则进行分类，权衡不同结果，并为最终决策提供合理的解释。这种方法旨在使LLM能够像人类一样，在特定情境下灵活地应用规则，而不是盲目地遵循。

技术框架：RID框架主要通过元提示实现，无需额外的训练。它包含以下几个关键步骤：1) 任务解构：将任务分解为更小的子任务。2) 规则分类：对相关规则进行分类，例如，区分硬性规则和软性规则。3) 结果权衡：评估不同决策可能带来的结果，并考虑其对整体目标的影响。4) 决策解释：为最终决策提供合理的解释，说明其如何符合人类意图。整个流程通过精心设计的提示词引导LLM完成。

关键创新：RID框架的关键创新在于其元提示方法，它不需要对LLM进行额外的训练，而是通过巧妙的提示词设计，引导LLM进行更高级的推理。与传统的提示方法相比，RID框架提供了一个更结构化的认知模式，使LLM能够更好地理解任务的上下文，并做出更符合人类意图的决策。

关键设计：RID框架的关键设计在于其提示词的结构化设计。提示词需要清晰地引导LLM完成任务解构、规则分类、结果权衡和决策解释等步骤。具体的提示词设计需要根据不同的任务进行调整，但其核心思想是保持一致的，即引导LLM从规则的字面意义转向其背后的意图。

📊 实验亮点

实验结果表明，RID框架在定制的20个场景基准测试中，显著提升了LLM的性能。RID框架的人类对齐分数（HAS）达到了95%，相比之下，基线方法为80%，思维链（CoT）提示为75%。这表明RID框架能够有效地引导LLM进行更符合人类意图的推理，并在异常处理方面取得显著的改进。

🎯 应用场景

该研究成果可广泛应用于各种需要智能体进行决策的场景，例如自动驾驶、医疗诊断、金融交易等。通过提升LLM的异常处理能力，可以构建更可靠、更符合人类价值观的AI系统，从而提高AI在实际应用中的安全性和可信度。未来，该方法可以进一步扩展到其他类型的智能体，并与其他技术相结合，以实现更高级的智能。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly being deployed as the reasoning engines for agentic AI systems, yet they exhibit a critical flaw: a rigid adherence to explicit rules that leads to decisions misaligned with human common sense and intent. This "rule-rigidity" is a significant barrier to building trustworthy autonomous agents. While prior work has shown that supervised fine-tuning (SFT) with human explanations can mitigate this issue, SFT is computationally expensive and inaccessible to many practitioners. To address this gap, we introduce the Rule-Intent Distinction (RID) Framework, a novel, low-compute meta-prompting technique designed to elicit human-aligned exception handling in LLMs in a zero-shot manner. The RID framework provides the model with a structured cognitive schema for deconstructing tasks, classifying rules, weighing conflicting outcomes, and justifying its final decision. We evaluated the RID framework against baseline and Chain-of-Thought (CoT) prompting on a custom benchmark of 20 scenarios requiring nuanced judgment across diverse domains. Our human-verified results demonstrate that the RID framework significantly improves performance, achieving a 95% Human Alignment Score (HAS), compared to 80% for the baseline and 75% for CoT. Furthermore, it consistently produces higher-quality, intent-driven reasoning. This work presents a practical, accessible, and effective method for steering LLMs from literal instruction-following to liberal, goal-oriented reasoning, paving the way for more reliable and pragmatic AI agents.