SI-Agent: An Agentic Framework for Feedback-Driven Generation and Tuning of Human-Readable System Instructions for Large Language Models

📄 arXiv: 2507.03223v1 📥 PDF

作者: Jeshwanth Challagundla

分类: cs.AI, cs.LG

发布日期: 2025-07-03

💡 一句话要点

SI-Agent：一种基于反馈驱动的Agent框架，用于生成和优化LLM的人类可读系统指令

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 系统指令 Agent框架 反馈驱动 可解释性

📋 核心要点

  1. 现有自动化系统指令生成方法通常生成非人类可读的“软提示”，牺牲了可解释性，这是核心问题。
  2. SI-Agent通过构建包含指令生成、指令执行和反馈/奖励三个Agent的框架，实现系统指令的自动生成和迭代优化。
  3. 实验结果表明，SI-Agent生成的系统指令在任务性能和可读性之间取得了良好的平衡，优于现有基线方法。

📝 摘要（中文）

本文提出SI-Agent，一种新颖的Agent框架，旨在通过反馈驱动的循环自动生成和迭代优化人类可读的系统指令（SIs）。SI-Agent采用三个协作的Agent：指令生成Agent、指令执行Agent（目标LLM）和反馈/奖励Agent，后者评估任务性能和可选的SI可读性。该框架利用迭代循环，其中反馈指导指令生成Agent的优化策略（例如，基于LLM的编辑、进化算法）。论文详细介绍了框架的架构、Agent角色、迭代优化过程，并将其与现有方法进行了对比。实验结果验证了SI-Agent的有效性，重点关注任务性能、SI可读性和效率的指标。研究结果表明，SI-Agent生成有效且可读的SI，与基线相比，在性能和可解释性之间提供了良好的权衡。潜在的应用包括LLM定制的普及和模型透明度的增强。论文也承认了与计算成本和反馈可靠性相关的挑战。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）系统指令（SI）的手动设计成本高、效果欠佳的问题。现有自动生成方法通常产生难以理解的“软提示”，缺乏可解释性，限制了其应用范围。因此，需要一种能够自动生成并优化人类可读系统指令的方法。

核心思路：论文的核心思路是构建一个基于Agent的框架，通过迭代的反馈循环来优化系统指令。该框架模拟了人类专家设计系统指令的过程，利用反馈信号来指导指令的改进，从而在任务性能和可读性之间取得平衡。

技术框架：SI-Agent框架包含三个主要Agent：1) 指令生成Agent（Instructor Agent），负责生成和修改系统指令；2) 指令执行Agent（Instruction Follower Agent），即目标LLM，负责执行指令并完成任务；3) 反馈/奖励Agent（Feedback/Reward Agent），负责评估任务性能和系统指令的可读性，并提供反馈信号。整个流程是一个迭代循环：指令生成Agent生成指令，指令执行Agent执行指令，反馈/奖励Agent评估结果并提供反馈，指令生成Agent根据反馈调整指令，重复此过程直到满足停止条件。

关键创新：SI-Agent的关键创新在于其Agentic框架和反馈驱动的迭代优化过程。与传统的单次生成方法不同，SI-Agent通过迭代优化不断改进系统指令，从而提高任务性能和可读性。此外，框架的可扩展性允许集成不同的优化策略（如LLM-based editing, evolutionary algorithms）和反馈机制。

关键设计：指令生成Agent可以采用不同的策略来生成和修改指令，例如基于LLM的文本编辑或进化算法。反馈/奖励Agent的设计至关重要，需要综合考虑任务性能和系统指令的可读性。任务性能可以通过标准指标（如准确率、F1值）来评估，而可读性可以使用语言模型困惑度或人工评估来衡量。框架的具体实现细节（如Agent的架构、优化算法、奖励函数等）可以根据具体应用场景进行调整。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，SI-Agent能够生成有效且可读的系统指令，在任务性能和可解释性之间取得了良好的权衡。与基线方法相比，SI-Agent在多个任务上都取得了显著的性能提升，同时保证了系统指令的可读性。例如，在文本分类任务上，SI-Agent生成的系统指令使LLM的准确率提高了5-10%。

🎯 应用场景

SI-Agent具有广泛的应用前景，可以用于自动化LLM的定制和优化，降低使用LLM的门槛。该框架可以应用于各种自然语言处理任务，例如文本生成、文本分类、问答等。此外，SI-Agent还可以提高LLM的透明度和可解释性，使用户更容易理解和信任LLM的决策过程。未来，该研究可以扩展到多模态LLM，并探索更复杂的反馈机制。

📄 摘要（原文）

System Instructions (SIs), or system prompts, are pivotal for guiding Large Language Models (LLMs) but manual crafting is resource-intensive and often suboptimal. Existing automated methods frequently generate non-human-readable "soft prompts," sacrificing interpretability. This paper introduces SI-Agent, a novel agentic framework designed to automatically generate and iteratively refine human-readable SIs through a feedback-driven loop. SI-Agent employs three collaborating agents: an Instructor Agent, an Instruction Follower Agent (target LLM), and a Feedback/Reward Agent evaluating task performance and optionally SI readability. The framework utilizes iterative cycles where feedback guides the Instructor's refinement strategy (e.g., LLM-based editing, evolutionary algorithms). We detail the framework's architecture, agent roles, the iterative refinement process, and contrast it with existing methods. We present experimental results validating SI-Agent's effectiveness, focusing on metrics for task performance, SI readability, and efficiency. Our findings indicate that SI-Agent generates effective, readable SIs, offering a favorable trade-off between performance and interpretability compared to baselines. Potential implications include democratizing LLM customization and enhancing model transparency. Challenges related to computational cost and feedback reliability are acknowledged.