ConstitutionMaker: Interactively Critiquing Large Language Models by Converting Feedback into Principles
作者: Savvas Petridis, Ben Wedin, James Wexler, Aaron Donsbach, Mahima Pushkarna, Nitesh Goyal, Carrie J. Cai, Michael Terry
分类: cs.HC, cs.AI
发布日期: 2023-10-24
💡 一句话要点
提出ConstitutionMaker以解决用户反馈转化为原则的问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 用户反馈 交互式工具 原则生成 聊天机器人
📋 核心要点
- 现有的聊天机器人引导方法无法有效支持用户将自然反馈转化为可操作的原则，限制了用户的自定义能力。
- 论文提出的ConstitutionMaker工具允许用户通过自然语言反馈或选择自动生成的反馈，轻松转化为指导模型行为的原则。
- 用户研究显示，使用ConstitutionMaker的参与者在反馈转化效率和原则指导能力上均有显著提升，减轻了心理负担。
📝 摘要（中文）
大型语言模型（LLM）提示是一种有前景的新方法，用户可以创建和定制自己的聊天机器人。然而，当前的引导聊天机器人输出的方法，如提示工程和微调，并未支持用户将对模型输出的自然反馈转化为提示或模型的变化。本文探索了如何使用户通过反馈互动地优化模型输出，帮助他们将反馈转化为一组原则（即宪法），以指导模型行为。通过一项形成性研究，我们发现用户需要支持将反馈转化为聊天机器人的原则，并对用户期望的不同原则类型进行了分类。基于这些发现，我们开发了ConstitutionMaker，一个互动工具，用于将用户反馈转化为原则，从而引导基于LLM的聊天机器人。
🔬 方法详解
问题定义：本论文旨在解决用户在与大型语言模型交互时，如何将自然反馈有效转化为指导模型行为的原则的问题。现有方法如提示工程和微调无法满足用户的需求，导致用户难以实现个性化的反馈转化。
核心思路：论文的核心思路是通过开发ConstitutionMaker工具，帮助用户将反馈转化为一组明确的原则。这一设计旨在简化用户的反馈过程，使其更直观和高效。
技术框架：ConstitutionMaker的整体架构包括用户反馈输入模块、反馈处理模块和原则生成模块。用户可以通过自然语言输入反馈，系统会自动生成相应的原则并插入到聊天机器人的提示中。
关键创新：最重要的技术创新在于将用户的自然语言反馈直接转化为可操作的原则，这与传统的提示工程方法有本质区别，后者通常需要用户手动调整提示。
关键设计：在设计中，系统支持多种反馈模式，包括正面和负面反馈、自动生成反馈和重写机器人的响应。每种反馈模式都能自动生成相应的原则，确保用户能够高效且清晰地表达其意图。
🖼️ 关键图片
📊 实验亮点
在用户研究中，使用ConstitutionMaker的参与者表示，他们的原则能够更好地指导聊天机器人，并且在将反馈转化为原则的过程中感受到更少的心理负担。与对照组相比，参与者在反馈转化效率上显著提高，具体提升幅度未知。
🎯 应用场景
ConstitutionMaker的潜在应用场景包括教育、客户服务和个性化助手等领域。通过使用户能够更好地控制聊天机器人的行为，该工具可以提升用户体验，促进更高效的交互。此外，未来可能会影响更多基于LLM的应用程序和工具的发展，推动人机交互的个性化进程。
📄 摘要（原文）
Large language model (LLM) prompting is a promising new approach for users to create and customize their own chatbots. However, current methods for steering a chatbot's outputs, such as prompt engineering and fine-tuning, do not support users in converting their natural feedback on the model's outputs to changes in the prompt or model. In this work, we explore how to enable users to interactively refine model outputs through their feedback, by helping them convert their feedback into a set of principles (i.e. a constitution) that dictate the model's behavior. From a formative study, we (1) found that users needed support converting their feedback into principles for the chatbot and (2) classified the different principle types desired by users. Inspired by these findings, we developed ConstitutionMaker, an interactive tool for converting user feedback into principles, to steer LLM-based chatbots. With ConstitutionMaker, users can provide either positive or negative feedback in natural language, select auto-generated feedback, or rewrite the chatbot's response; each mode of feedback automatically generates a principle that is inserted into the chatbot's prompt. In a user study with 14 participants, we compare ConstitutionMaker to an ablated version, where users write their own principles. With ConstitutionMaker, participants felt that their principles could better guide the chatbot, that they could more easily convert their feedback into principles, and that they could write principles more efficiently, with less mental demand. ConstitutionMaker helped users identify ways to improve the chatbot, formulate their intuitive responses to the model into feedback, and convert this feedback into specific and clear principles. Together, these findings inform future tools that support the interactive critiquing of LLM outputs.