GAIus: Combining Genai with Legal Clauses Retrieval for Knowledge-based Assistant
作者: Michał Matak, Jarosław A. Chudziak
分类: cs.CL, cs.AI
发布日期: 2025-07-02
备注: 8 pages, 2 figures, presented at ICAART 2025, in proceedings of the 17th International Conference on Agents and Artificial Intelligence - Volume 3: ICAART
💡 一句话要点
GAIus：结合GenAI与法律条文检索的知识型助手，提升非英语国家法律咨询效果
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 法律信息检索 大型语言模型 知识型助手 GenAI 法律条文检索
📋 核心要点
- 现有法律信息检索方法在非英语国家面临挑战，缺乏针对特定法律条文的有效检索和引用机制。
- gAIus通过结合GenAI和法律条文检索，构建知识型助手，提升法律咨询的准确性和可解释性。
- 实验表明，gAIus显著提升了GPT模型的性能，在波兰法律学徒入学考试数据集上取得了优异成绩。
📝 摘要（中文）
本文探讨了大型语言模型在处理非英语和非汉语国家法律事务时，基于知识给出答案并提供适当参考的能力。我们讨论了法律信息检索的历史、判例法和成文法的区别及其对法律任务的影响，并分析了该领域的最新研究。在此背景下，我们介绍了gAIus，这是一种基于认知的LLM代理架构，其响应基于从特定法律（即波兰民法典）中检索的知识。我们提出了一种比基于嵌入的方法更具可解释性、更人性化且效果更好的检索机制。为了评估我们的方法，我们创建了一个基于波兰法律学徒入学考试单选题的特殊数据集。所提出的架构关键性地利用了所使用的大型语言模型的能力，使gpt-3.5-turbo-0125的性能提高了419%，超过了gpt-4o，并将gpt-4o-mini的分数从31%提高到86%。最后，我们展示了未来研究的可能方向和我们发现的潜在应用。
🔬 方法详解
问题定义：论文旨在解决大型语言模型在处理非英语和非汉语国家的法律问题时，难以准确检索和引用相关法律条文的问题。现有方法，如基于嵌入的方法，在可解释性和准确性方面存在不足，难以满足法律领域对精确性和透明度的要求。
核心思路：论文的核心思路是结合GenAI（生成式人工智能）和法律条文检索，构建一个知识型的助手。通过检索相关的法律条文，并将其作为LLM的上下文信息，从而提高LLM回答法律问题的准确性和可靠性。这种方法强调了知识检索的重要性，并将其与LLM的生成能力相结合。
技术框架：gAIus的整体架构包含以下几个主要模块：1) 法律条文数据库：存储了波兰民法典等法律文本。2) 检索模块：负责根据用户提出的问题，从法律条文数据库中检索相关的条文。论文提出了一种比基于嵌入的方法更具可解释性和效果更好的检索机制，但具体细节未知。3) LLM：使用检索到的法律条文作为上下文信息，生成对用户问题的回答。论文使用了GPT-3.5-turbo-0125和GPT-4o等LLM。
关键创新：论文的关键创新在于提出了一种结合GenAI和法律条文检索的知识型助手架构，并设计了一种更优的法律条文检索机制。这种架构能够有效地利用法律知识，提高LLM在法律领域的应用效果。此外，该研究针对非英语国家法律领域的问题，具有一定的地域针对性。
关键设计：论文中关于检索机制的具体设计细节未知。但是，论文强调了检索机制的可解释性和人性化，这可能意味着该机制采用了某种基于规则或关键词匹配的方法，而不是完全依赖于黑盒的嵌入模型。论文还针对波兰法律学徒入学考试创建了一个特殊的数据集，用于评估gAIus的性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，gAIus显著提升了GPT模型的性能。例如，gpt-3.5-turbo-0125的性能提高了419%，超过了gpt-4o。此外，gAIus还将gpt-4o-mini的分数从31%提高到86%。这些数据表明，gAIus在处理波兰法律学徒入学考试问题方面取得了显著的成果。
🎯 应用场景
该研究成果可应用于智能法律咨询、法律知识问答、法律文书辅助生成等领域。通过结合GenAI和法律知识，可以为律师、法官、法律学生以及普通民众提供更准确、更便捷的法律服务，尤其是在非英语国家，具有重要的应用价值和潜力。
📄 摘要（原文）
In this paper we discuss the capability of large language models to base their answer and provide proper references when dealing with legal matters of non-english and non-chinese speaking country. We discuss the history of legal information retrieval, the difference between case law and statute law, its impact on the legal tasks and analyze the latest research in this field. Basing on that background we introduce gAIus, the architecture of the cognitive LLM-based agent, whose responses are based on the knowledge retrieved from certain legal act, which is Polish Civil Code. We propose a retrieval mechanism which is more explainable, human-friendly and achieves better results than embedding-based approaches. To evaluate our method we create special dataset based on single-choice questions from entrance exams for law apprenticeships conducted in Poland. The proposed architecture critically leveraged the abilities of used large language models, improving the gpt-3.5-turbo-0125 by 419%, allowing it to beat gpt-4o and lifting gpt-4o-mini score from 31% to 86%. At the end of our paper we show the possible future path of research and potential applications of our findings.