Inference-Time Intervention in Large Language Models for Reliable Requirement Verification

📄 arXiv: 2503.14130v1 📥 PDF

作者: Paul Darm, James Xie, Annalisa Riccardi

分类: cs.AI, cs.SE

发布日期: 2025-03-18

💡 一句话要点

提出基于干预的大语言模型，用于可靠的需求验证，提升MBSE效率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 推理时干预 需求验证 模型驱动工程 系统工程

📋 核心要点

  1. 现有LLM在工程应用中缺乏足够的动态和精确控制，难以满足需求验证等任务的严格要求。
  2. 通过在推理时干预LLM的特定注意力头，实现对模型行为的细粒度控制，提升需求验证的可靠性。
  3. 实验表明，该方法在空间任务的SysML模型需求验证中，显著优于基线模型和微调方法，精度大幅提升。

📝 摘要（中文）

大型语言模型（LLM）的行为控制仍然是一个挑战，尤其是在需要精确性和可靠性的工程应用中。微调和提示方法虽然可以修改模型行为，但缺乏工程应用所需的动态和精确控制。推理时干预技术提供了一种有前景的替代方案，允许对LLM输出进行有针对性的调整。本文展示了如何通过干预实现细粒度控制，从而自动化基于模型的系统工程（MBSE）中通常耗时的需求验证过程。我们使用两个早期阶段的Capella SysML空间任务模型以及相关需求，应用干预后的LLM来推理模型的图表示，以确定是否满足需求。我们的方法实现了稳健可靠的输出，显著优于基线模型和微调方法。通过识别和修改少量（1-3个）专门的注意力头，我们可以显著改变模型的行为。当与自洽性结合使用时，这使我们能够在保留的测试集上实现完美的精度。

🔬 方法详解

问题定义：论文旨在解决基于模型的系统工程（MBSE）中，利用大型语言模型（LLM）进行需求验证时，模型行为难以精确控制的问题。现有方法，如微调和提示工程，无法提供足够的动态性和精确性，导致验证结果不够可靠，且验证过程耗时。

核心思路：论文的核心思路是在LLM推理过程中，通过干预特定的注意力头，直接影响模型的决策过程。这种干预方式允许对模型行为进行细粒度控制，使其能够更准确地理解和验证需求。通过识别对特定任务影响最大的注意力头，并对其进行调整，可以显著改变模型的输出，从而提高需求验证的可靠性。

技术框架：该方法主要包含以下几个阶段：1) 将MBSE模型转换为图表示；2) 使用LLM对图表示进行推理，判断需求是否满足；3) 识别并干预LLM中对需求验证任务至关重要的注意力头；4) 结合自洽性方法，进一步提高验证的准确性。整个流程旨在利用LLM的推理能力，同时通过干预机制确保结果的可靠性。

关键创新：该方法最重要的创新点在于推理时干预机制。与传统的微调或提示工程相比，这种方法能够更精确地控制LLM的行为，并且不需要重新训练整个模型。通过选择性地干预少量注意力头，可以实现对模型输出的显著改变，从而提高需求验证的准确性和可靠性。

关键设计：论文的关键设计包括：1) 如何将MBSE模型转换为适合LLM处理的图表示；2) 如何识别对需求验证任务影响最大的注意力头（具体方法未知）；3) 如何设计干预策略，以有效地调整注意力头的行为（具体方法未知）；4) 如何结合自洽性方法，进一步提高验证的准确性（具体方法未知）。这些设计细节对于实现高效且可靠的需求验证至关重要。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，通过干预少量（1-3个）注意力头，该方法能够显著改变LLM的行为，并在空间任务的SysML模型需求验证中，优于基线模型和微调方法。结合自洽性方法后，在保留的测试集上实现了完美的精度，验证了该方法的有效性和可靠性。

🎯 应用场景

该研究成果可广泛应用于各种工程领域，尤其是在航空航天、汽车、医疗等对安全性要求极高的领域。通过自动化需求验证过程，可以显著降低人工成本，提高验证效率，并减少因需求错误导致的潜在风险。未来，该方法有望集成到MBSE工具链中，为工程师提供更智能、更可靠的需求验证解决方案。

📄 摘要（原文）

Steering the behavior of Large Language Models (LLMs) remains a challenge, particularly in engineering applications where precision and reliability are critical. While fine-tuning and prompting methods can modify model behavior, they lack the dynamic and exact control necessary for engineering applications. Inference-time intervention techniques provide a promising alternative, allowing targeted adjustments to LLM outputs. In this work, we demonstrate how interventions enable fine-grained control for automating the usually time-intensive requirement verification process in Model-Based Systems Engineering (MBSE). Using two early-stage Capella SysML models of space missions with associated requirements, we apply the intervened LLMs to reason over a graph representation of the model to determine whether a requirement is fulfilled. Our method achieves robust and reliable outputs, significantly improving over both a baseline model and a fine-tuning approach. By identifying and modifying as few as one to three specialised attention heads, we can significantly change the model's behavior. When combined with self-consistency, this allows us to achieve perfect precision on our holdout test set.