Logic Sketch Prompting (LSP): A Deterministic and Interpretable Prompting Method

📄 arXiv: 2512.22258v1 📥 PDF

作者: Satvik Tripathi

分类: cs.AI, cs.LG, cs.LO, cs.SC

发布日期: 2025-12-24

💡 一句话要点

提出逻辑草图提示（LSP）框架，提升LLM在规则遵循任务中的确定性和可解释性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 逻辑推理 大型语言模型 提示工程 确定性 可解释性 规则遵循 药理学 决策支持系统

📋 核心要点

  1. 现有LLM在需要严格规则的任务中表现不稳定，缺乏确定性和可解释性，难以满足特定领域需求。
  2. LSP框架引入类型变量、确定性条件评估器和规则验证器，确保输出的可追溯性和可重复性。
  3. 在药理学逻辑合规任务中，LSP显著优于零样本、思维链等提示方法，提升了准确率和F1值。

📝 摘要（中文）

大型语言模型（LLM）擅长自然语言推理，但在需要严格规则遵守、确定性和可审计性的任务中仍然不可靠。逻辑草图提示（LSP）是一种轻量级的提示框架，它引入了类型变量、确定性条件评估器和基于规则的验证器，从而产生可追溯和可重复的输出。通过两个药理学逻辑合规任务，我们针对三个开源模型（Gemma 2、Mistral 和 Llama 3）对 LSP 与零样本提示、思维链提示和简洁提示进行了基准测试。在所有任务和所有模型中，LSP 始终获得最高的准确率（0.83 到 0.89）和 F1 分数（0.83 到 0.89），大大优于零样本提示（0.24 到 0.60）、简洁提示（0.16 到 0.30）和思维链提示（0.56 到 0.75）。McNemar 检验表明，LSP 在几乎所有比较中都取得了统计上显著的收益（p < 0.01）。这些结果表明，LSP 在不牺牲性能的情况下提高了确定性、可解释性和一致性，支持其在临床、受监管和安全关键的决策支持系统中的使用。

🔬 方法详解

问题定义：现有的大型语言模型在处理需要严格规则遵循、确定性和可审计性的任务时表现出不可靠性。例如，在医疗、金融等领域，决策过程必须清晰透明，并且能够验证其正确性。现有的提示方法，如零样本提示、思维链提示等，无法保证输出的确定性和可解释性，难以满足这些关键领域的需求。

核心思路：LSP的核心思路是将复杂的推理过程分解为一系列明确定义的逻辑步骤，并使用类型变量、确定性条件评估器和基于规则的验证器来控制和验证每个步骤。通过这种方式，LSP能够确保输出的可追溯性和可重复性，从而提高LLM在规则遵循任务中的可靠性。

技术框架：LSP框架主要包含以下几个模块：1) 类型变量定义：定义任务中涉及的变量类型，例如布尔型、数值型等。2) 确定性条件评估器：使用预定义的规则来评估条件表达式，确保评估结果的确定性。3) 规则验证器：基于预定义的规则集来验证LLM的输出，确保输出符合逻辑约束。整个流程如下：首先，将输入问题转化为逻辑草图，其中包含类型变量和条件表达式。然后，使用LLM生成候选答案。接下来，使用确定性条件评估器评估条件表达式，并使用规则验证器验证LLM的输出。最后，输出验证通过的答案。

关键创新：LSP的关键创新在于其引入了类型变量、确定性条件评估器和规则验证器，从而实现了对LLM输出的精确控制和验证。与现有的提示方法相比，LSP能够显著提高LLM在规则遵循任务中的确定性和可解释性。LSP通过将推理过程分解为明确的逻辑步骤，使得每个步骤都可以被追溯和验证，从而增强了LLM的可靠性。

关键设计：LSP框架中的关键设计包括：1) 类型变量的定义：需要根据具体的任务来定义合适的变量类型，例如布尔型、数值型、字符串型等。2) 确定性条件评估器的实现：可以使用预定义的函数或规则引擎来实现确定性条件评估器。3) 规则验证器的设计：需要根据任务的逻辑约束来设计规则集，例如使用if-then规则或约束编程等。论文中未明确提及具体的参数设置、损失函数或网络结构，这些细节可能取决于所使用的LLM和具体的任务。

📊 实验亮点

实验结果表明，LSP在两个药理学逻辑合规任务中显著优于零样本提示、思维链提示和简洁提示。LSP在所有模型（Gemma 2、Mistral 和 Llama 3）上均取得了最高的准确率（0.83 到 0.89）和 F1 分数（0.83 到 0.89），相比之下，零样本提示的准确率仅为0.24到0.60，思维链提示的准确率为0.56到0.75。McNemar 检验表明，LSP 在几乎所有比较中都取得了统计上显著的收益（p < 0.01）。

🎯 应用场景

LSP框架具有广泛的应用前景，尤其适用于临床决策支持系统、金融风险评估、法律合规等对确定性和可解释性要求高的领域。通过提高LLM在这些领域的可靠性，LSP可以帮助专业人士做出更明智的决策，并降低潜在的风险。未来，LSP有望成为构建安全可靠的AI系统的关键技术。

📄 摘要（原文）

Large language models (LLMs) excel at natural language reasoning but remain unreliable on tasks requiring strict rule adherence, determinism, and auditability. Logic Sketch Prompting (LSP) is a lightweight prompting framework that introduces typed variables, deterministic condition evaluators, and a rule based validator that produces traceable and repeatable outputs. Using two pharmacologic logic compliance tasks, we benchmark LSP against zero shot prompting, chain of thought prompting, and concise prompting across three open weight models: Gemma 2, Mistral, and Llama 3. Across both tasks and all models, LSP consistently achieves the highest accuracy (0.83 to 0.89) and F1 score (0.83 to 0.89), substantially outperforming zero shot prompting (0.24 to 0.60), concise prompts (0.16 to 0.30), and chain of thought prompting (0.56 to 0.75). McNemar tests show statistically significant gains for LSP across nearly all comparisons (p < 0.01). These results demonstrate that LSP improves determinism, interpretability, and consistency without sacrificing performance, supporting its use in clinical, regulated, and safety critical decision support systems.