NomicLaw: Emergent Trust and Strategic Argumentation in LLMs During Collaborative Law-Making
作者: Asutosh Hota, Jussi P. P. Jokinen
分类: cs.AI
发布日期: 2025-08-07
💡 一句话要点
NomicLaw：利用LLM进行协同法律制定，探索涌现信任与策略性论证
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 多智能体系统 法律制定 社会推理 策略性论证 信任关系 协同决策
📋 核心要点
- 现有研究对LLM在开放、多智能体法律制定场景下的行为理解不足，尤其是在涉及伦理困境的讨论中。
- NomicLaw模拟LLM协同制定法律，通过提出规则、论证和投票来响应法律情景，以此研究LLM的社会推理能力。
- 实验表明LLM能自发形成联盟、背叛信任，并调整言辞影响决策，揭示了其潜在的社会推理和说服能力。
📝 摘要（中文）
大型语言模型（LLM）的能力已从基本的文本处理扩展到复杂的推理任务，包括法律解释、论证和策略性互动。然而，对于LLM在开放式、多智能体环境中的行为，尤其是在涉及法律和伦理困境的审议中的实证理解仍然有限。我们引入了NomicLaw，这是一个结构化的多智能体模拟，其中LLM参与协同法律制定，通过提出规则、证明其合理性以及对同行的提案进行投票来响应复杂的法律情景。我们通过投票模式定量地衡量信任和互惠，并定性地评估智能体如何使用策略性语言来证明提案的合理性并影响结果。涉及同质和异质LLM群体的实验表明，智能体如何自发地形成联盟、背叛信任并调整其言辞以塑造集体决策。我们的结果突出了十个开源LLM的潜在社会推理和说服能力，并为未来能够自主协商、协调和起草法律的AI系统的设计提供了见解。
🔬 方法详解
问题定义：论文旨在研究在协同法律制定场景下，LLM如何进行社会推理、策略性论证以及建立信任关系。现有方法缺乏对LLM在开放式、多智能体法律制定环境中的行为的深入理解，难以评估其在复杂社会互动中的表现。
核心思路：核心思路是构建一个名为NomicLaw的结构化多智能体模拟环境，让LLM扮演不同的智能体，参与法律规则的制定过程。通过观察LLM在提出规则、论证观点和投票决策中的行为，来分析其社会推理能力、策略性论证技巧以及信任关系的建立和破坏。
技术框架：NomicLaw包含以下主要模块：1) 法律情景生成器：生成复杂的法律情景，作为LLM进行法律制定的背景。2) 规则提议模块：LLM智能体根据法律情景提出法律规则。3) 论证模块：LLM智能体为自己或他人的规则提议提供论证，支持或反对该规则。4) 投票模块：LLM智能体根据自己的判断和收到的论证，对规则提议进行投票。5) 评估模块：通过定量分析投票模式和定性分析论证内容，评估LLM的信任度、互惠性和策略性论证能力。
关键创新：关键创新在于构建了一个可控的多智能体模拟环境，用于研究LLM在法律制定这种复杂的社会互动中的行为。通过NomicLaw，研究人员可以观察LLM如何进行策略性论证、建立或破坏信任关系，以及如何适应环境变化。这为理解LLM的社会推理能力提供了新的视角。
关键设计：关键设计包括：1) 法律情景的复杂性：法律情景需要足够复杂，以激发LLM进行深入的推理和论证。2) 论证的策略性：允许LLM使用不同的论证策略，例如情感诉求、逻辑推理等，以影响其他智能体的投票决策。3) 投票机制的设计：投票机制需要能够反映LLM之间的信任关系和互惠行为。4) 评估指标的选择：选择合适的评估指标，例如信任度、互惠性、论证强度等，来量化LLM的行为。
🖼️ 关键图片
📊 实验亮点
实验结果表明，不同的开源LLM在NomicLaw环境中表现出不同的社会推理和说服能力。LLM能够自发地形成联盟，但也会背叛信任以追求自身利益。此外，LLM会根据环境变化调整其论证策略，例如在竞争激烈的环境中更倾向于使用情感诉求。这些发现揭示了LLM在复杂社会互动中的潜在行为模式。
🎯 应用场景
该研究成果可应用于开发更智能的法律辅助系统，例如辅助法律研究、合同起草和谈判。此外，该研究对于理解和设计能够进行自主协商、协调和起草法律的AI系统具有重要意义，有助于构建更可靠、更具社会意识的AI系统。该研究还可推广到其他需要多方协作和决策的领域，例如政策制定、商业谈判等。
📄 摘要（原文）
Recent advancements in large language models (LLMs) have extended their capabilities from basic text processing to complex reasoning tasks, including legal interpretation, argumentation, and strategic interaction. However, empirical understanding of LLM behavior in open-ended, multi-agent settings especially those involving deliberation over legal and ethical dilemmas remains limited. We introduce NomicLaw, a structured multi-agent simulation where LLMs engage in collaborative law-making, responding to complex legal vignettes by proposing rules, justifying them, and voting on peer proposals. We quantitatively measure trust and reciprocity via voting patterns and qualitatively assess how agents use strategic language to justify proposals and influence outcomes. Experiments involving homogeneous and heterogeneous LLM groups demonstrate how agents spontaneously form alliances, betray trust, and adapt their rhetoric to shape collective decisions. Our results highlight the latent social reasoning and persuasive capabilities of ten open-source LLMs and provide insights into the design of future AI systems capable of autonomous negotiation, coordination and drafting legislation in legal settings.