Semantic Commit: Helping Users Update Intent Specifications for AI Memory at Scale

📄 arXiv: 2504.09283v1 📥 PDF

作者: Priyan Vaithilingam, Munyeong Kim, Frida-Cecilia Acosta-Parenteau, Daniel Lee, Amine Mhedhbi, Elena L. Glassman, Ian Arawjo

分类: cs.HC, cs.AI

发布日期: 2025-04-12

备注: 22 pages; 10 figures

💡 一句话要点

提出SemanticCommit，辅助用户大规模更新AI记忆中的意图规范。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 语义冲突解决 AI记忆更新 意图规范 知识图谱 大型语言模型 影响分析 人机交互

📋 核心要点

  1. 现有AI系统在用户意图变化时，难以有效更新和维护其记忆，导致意图规范与实际需求不一致。
  2. SemanticCommit通过语义冲突检测和解决，辅助用户将新意图集成到现有知识库中，保持AI记忆的准确性。
  3. 用户研究表明，影响分析的工作流程有助于用户理解和解决语义冲突，提升AI记忆更新的效率和质量。

📝 摘要（中文）

本文探讨了当用户意图发生变化时，如何更新AI对用户意图的记忆。借鉴软件工程中的影响分析等概念，本文开发了一种用于管理具有非局部效应的语义变更的方法和用户界面，称之为“语义冲突解决”。用户向项目中提交新的意图（即“语义提交”），AI帮助用户检测和解决现有信息存储（即“意图规范”）中的语义冲突。本文开发了一个名为SemanticCommit的界面，以更好地理解用户在更新意图规范（如Cursor规则和游戏设计文档）时如何解决冲突。基于知识图谱的RAG流水线驱动冲突检测，而LLM辅助提供解决方案建议。本文在一个初始基准上评估了该技术，并报告了一项包含12名用户的受试者内研究，该研究针对两个任务领域（游戏设计文档和ChatGPT风格的AI代理记忆），用户将新信息集成到现有列表中。一半的参与者采用了一种影响分析的工作流程，即首先标记冲突而不进行AI修订，然后在本地解决冲突，尽管他们可以使用全局修订功能。本文认为，像Cursor和Windsurf这样的软件IDE等AI代理界面应该提供影响分析的功能，并帮助用户独立于生成来验证AI检索。本文的工作阐述了AI代理设计者应该如何将更新记忆视为一个涉及人类反馈和决策的过程。

🔬 方法详解

问题定义：论文旨在解决AI系统如何在大规模意图规范中有效更新和维护用户意图的问题。现有方法缺乏对语义变更的非局部影响的考虑，导致更新过程容易引入冲突和不一致性，难以保证AI记忆的准确性和可靠性。

核心思路：论文借鉴软件工程中的影响分析概念，将AI记忆更新视为一个语义冲突解决的过程。通过检测新意图与现有意图规范之间的冲突，并提供解决方案建议，辅助用户进行决策，从而实现对AI记忆的精确更新。这种方法强调人类反馈和决策在AI记忆更新中的重要性。

技术框架：SemanticCommit系统包含以下主要模块：1) 知识图谱构建：将现有意图规范表示为知识图谱，用于语义推理和冲突检测。2) 冲突检测：使用基于知识图谱的RAG（Retrieval-Augmented Generation）流水线，检测新意图与现有意图之间的语义冲突。3) 解决方案建议：利用LLM（大型语言模型）生成冲突解决方案建议，辅助用户进行决策。4) 用户界面：提供友好的用户界面，支持用户进行冲突标记、解决方案选择和意图规范更新。

关键创新：该论文的关键创新在于将软件工程中的影响分析概念引入到AI记忆更新领域，并提出了基于知识图谱和LLM的语义冲突解决框架。与传统方法相比，该方法能够更好地处理语义变更的非局部影响，并提供更智能的解决方案建议。

关键设计：在知识图谱构建方面，论文采用领域相关的知识表示方法，以提高语义推理的准确性。在冲突检测方面，RAG流水线使用领域相关的检索模型和生成模型，以提高冲突检测的召回率和准确率。在解决方案建议方面，LLM使用领域相关的训练数据进行微调，以提高解决方案的质量和相关性。用户界面设计强调可视化和交互性，以提高用户体验和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

用户研究表明，SemanticCommit能够有效地辅助用户解决语义冲突，提高AI记忆更新的效率和质量。一半的参与者采用了影响分析的工作流程，表明该方法具有良好的可用性和可接受性。研究还发现，用户更倾向于先进行冲突标记，然后再进行本地解决方案选择，这为未来的用户界面设计提供了重要的参考。

🎯 应用场景

该研究成果可应用于各种需要维护和更新AI记忆的场景，例如：AI助手、智能客服、游戏AI、知识图谱维护等。通过SemanticCommit，用户可以更有效地管理和更新AI的知识库，提高AI系统的性能和可靠性，并降低维护成本。未来，该技术有望应用于更复杂的AI系统，例如自动驾驶和医疗诊断。

📄 摘要（原文）

How do we update AI memory of user intent as intent changes? We consider how an AI interface may assist the integration of new information into a repository of natural language data. Inspired by software engineering concepts like impact analysis, we develop methods and a UI for managing semantic changes with non-local effects, which we call "semantic conflict resolution." The user commits new intent to a project -- makes a "semantic commit" -- and the AI helps the user detect and resolve semantic conflicts within a store of existing information representing their intent (an "intent specification"). We develop an interface, SemanticCommit, to better understand how users resolve conflicts when updating intent specifications such as Cursor Rules and game design documents. A knowledge graph-based RAG pipeline drives conflict detection, while LLMs assist in suggesting resolutions. We evaluate our technique on an initial benchmark. Then, we report a 12 user within-subjects study of SemanticCommit for two task domains -- game design documents, and AI agent memory in the style of ChatGPT memories -- where users integrated new information into an existing list. Half of our participants adopted a workflow of impact analysis, where they would first flag conflicts without AI revisions then resolve conflicts locally, despite having access to a global revision feature. We argue that AI agent interfaces, such as software IDEs like Cursor and Windsurf, should provide affordances for impact analysis and help users validate AI retrieval independently from generation. Our work speaks to how AI agent designers should think about updating memory as a process that involves human feedback and decision-making.