DRAssist: Dispute Resolution Assistance using Large Language Models
作者: Sachin Pawar, Manoj Apte, Girish K. Palshikar, Basit Ali, Nitin Ramrakhiyani
分类: cs.CL
发布日期: 2025-09-02
备注: Accepted at the 20th International Conference on Artificial Intelligence and Law (ICAIL 2025)
💡 一句话要点
DRAssist：利用大型语言模型辅助解决汽车保险和域名争议
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 纠纷解决 自然语言处理 汽车保险 域名争议
📋 核心要点
- 现有纠纷解决依赖人工法官，效率低且易受主观因素影响，缺乏自动化辅助手段。
- DRAssist系统利用LLM提取纠纷要素，生成结构化摘要，并辅助判断争议点和论据强弱。
- 实验评估了LLM在汽车保险和域名争议解决中的表现，验证了其辅助决策的潜力。
📝 摘要（中文）
本文探讨了使用大型语言模型（LLM）作为辅助工具，帮助人类法官解决纠纷，这是DRAssist系统的一部分。研究聚焦于汽车保险和域名争议这两个特定领域。DRAssist能够识别纠纷的关键结构要素（例如事实、争议点、论点），并对非结构化的纠纷描述进行总结，从而为每个纠纷生成结构化的摘要。然后，研究探索了多种提示策略和不同的LLM，以评估它们在解决这些领域纠纷方面的能力。在DRAssist中，LLM被提示在三个不同层面上生成解决方案输出：（i）识别纠纷中整体上更强势的一方，（ii）决定是否可以接受争议各方提出的每一项具体要求，（iii）评估争议各方提出的每个论点的强弱。通过与相关基线进行比较，并使用适当的评估指标，评估LLM在所有这些任务上的性能。
🔬 方法详解
问题定义：论文旨在解决汽车保险和域名争议等领域中，人工解决纠纷效率低、主观性强的问题。现有方法缺乏有效的自动化辅助工具，难以快速准确地分析纠纷要素和评估争议双方的论据。
核心思路：论文的核心思路是利用大型语言模型（LLM）的自然语言理解和生成能力，模拟人类法官的决策过程，辅助纠纷解决。通过结构化摘要和多层次的判断，为法官提供更客观、全面的信息，提高纠纷解决的效率和公正性。
技术框架：DRAssist系统主要包含以下几个模块：1) 纠纷要素识别：识别纠纷描述中的事实、争议点、论据等关键要素。2) 结构化摘要生成：将非结构化的纠纷描述转化为结构化的摘要，方便后续分析。3) 多层次决策辅助：利用LLM在三个层面上辅助决策：识别强势方、判断需求合理性、评估论据强弱。4) 结果评估：通过与基线方法比较，评估LLM在各个任务上的性能。
关键创新：该论文的关键创新在于将LLM应用于纠纷解决领域，并提出了多层次的决策辅助方法。与传统的基于规则或统计模型的纠纷解决系统相比，DRAssist能够更好地理解自然语言描述的纠纷，并进行更灵活、更智能的判断。
关键设计：论文中涉及的关键设计包括：1) 提示工程：设计不同的提示策略，引导LLM生成所需的输出，例如识别强势方、判断需求合理性、评估论据强弱。2) 模型选择：选择合适的LLM，并根据具体任务进行微调。3) 评估指标：选择合适的评估指标，例如准确率、召回率、F1值等，评估LLM在各个任务上的性能。具体的参数设置、损失函数、网络结构等技术细节在论文中可能未详细描述，属于LLM本身的设计。
🖼️ 关键图片
📊 实验亮点
论文通过实验验证了DRAssist在汽车保险和域名争议解决中的有效性。虽然具体的性能数据和提升幅度未在摘要中明确给出，但研究表明，LLM在识别强势方、判断需求合理性和评估论据强弱等方面均表现出一定的能力，为纠纷解决提供了有价值的辅助信息。与传统方法相比，DRAssist有望显著提升纠纷解决的效率和公正性。
🎯 应用场景
DRAssist可应用于各类纠纷解决场景，如消费者权益保护、合同纠纷、知识产权纠纷等。通过自动化辅助，提高纠纷解决效率，降低人工成本，并减少主观偏见，提升公正性。未来可扩展到更多领域，并与其他技术（如区块链、智能合约）结合，构建更智能、更高效的纠纷解决平台。
📄 摘要（原文）
Disputes between two parties occur in almost all domains such as taxation, insurance, banking, healthcare, etc. The disputes are generally resolved in a specific forum (e.g., consumer court) where facts are presented, points of disagreement are discussed, arguments as well as specific demands of the parties are heard, and finally a human judge resolves the dispute by often favouring one of the two parties. In this paper, we explore the use of large language models (LLMs) as assistants for the human judge to resolve such disputes, as part of our DRAssist system. We focus on disputes from two specific domains -- automobile insurance and domain name disputes. DRAssist identifies certain key structural elements (e.g., facts, aspects or disagreement, arguments) of the disputes and summarizes the unstructured dispute descriptions to produce a structured summary for each dispute. We then explore multiple prompting strategies with multiple LLMs for their ability to assist in resolving the disputes in these domains. In DRAssist, these LLMs are prompted to produce the resolution output at three different levels -- (i) identifying an overall stronger party in a dispute, (ii) decide whether each specific demand of each contesting party can be accepted or not, (iii) evaluate whether each argument by each contesting party is strong or weak. We evaluate the performance of LLMs on all these tasks by comparing them with relevant baselines using suitable evaluation metrics.