MotivGraph-SoIQ: Integrating Motivational Knowledge Graphs and Socratic Dialogue for Enhanced LLM Ideation

📄 arXiv: 2509.21978v1 📥 PDF

作者: Xinping Lei, Tong Zhou, Yubo Chen, Kang Liu, Jun Zhao

分类: cs.CL

发布日期: 2025-09-26

备注: EMNLP2025 Findings

💡 一句话要点

提出MotivGraph-SoIQ以解决LLM创意过程中的偏见与基础不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 动机知识图谱 苏格拉底对话 创意生成 确认偏见 学术研究 创新工具

📋 核心要点

  1. 现有的LLM方法在创意生成过程中缺乏有效的基础支持，容易受到确认偏见的影响，导致创意质量不高。
  2. MotivGraph-SoIQ通过整合动机知识图谱与苏格拉底对话，提供了一个结构化的创意改进流程，有效地减轻偏见并提升创意质量。
  3. 在ICLR25论文主题数据集上，MotivGraph-SoIQ在LLM评分、ELO排名和人类评估等指标上均表现出明显的优势。

📝 摘要（中文）

大型语言模型（LLMs）在加速学术创意方面具有巨大潜力，但在基础构建和减轻确认偏见方面面临重大挑战。本文提出了一种整合动机知识图谱与苏格拉底对话的框架（MotivGraph-SoIQ），以解决这些局限性。该框架通过动机知识图谱（MotivGraph）和基于问题驱动的苏格拉底创意者（Q-Driven Socratic Ideator）相结合，为LLM创意过程提供必要的基础和实用的改进步骤。MotivGraph结构性地存储了三种关键节点类型（问题、挑战和解决方案），为LLM创意过程提供动机基础。实验结果表明，MotivGraph-SoIQ在LLM评分、ELO排名和人类评估指标上明显优于现有最先进的方法。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在创意生成过程中缺乏基础支持和确认偏见的问题。现有方法往往无法有效地引导创意的深入发展，导致创意质量不高。

核心思路：MotivGraph-SoIQ的核心思路是通过动机知识图谱和苏格拉底对话的结合，提供结构化的创意生成和改进流程。这种设计旨在为LLM提供必要的背景知识和引导，帮助其更好地生成和优化创意。

技术框架：该框架主要由两个模块组成：动机知识图谱（MotivGraph）和基于问题驱动的苏格拉底创意者（Q-Driven Socratic Ideator）。MotivGraph存储问题、挑战和解决方案等节点，Ideator则通过苏格拉底式提问引导创意的深入探讨与改进。

关键创新：最重要的技术创新在于将动机知识图谱与苏格拉底对话结合，形成了一个双代理系统，能够有效减轻确认偏见并提升创意的多样性和质量。这一方法与传统的LLM方法有本质区别，后者往往缺乏系统的引导机制。

关键设计：在设计上，MotivGraph的节点类型和关系结构经过精心设计，以确保能够有效支持创意生成过程。此外，Ideator的提问策略经过优化，以最大化引导效果和创意质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在ICLR25论文主题数据集上，MotivGraph-SoIQ在多个指标上超越了现有最先进的方法，具体表现为LLM评分、ELO排名和人类评估均显著提高，显示出该框架在创意生成和优化方面的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括学术研究、创意写作、产品设计等多个领域。通过提供更高质量的创意生成和优化工具，MotivGraph-SoIQ能够帮助研究人员和创意工作者更有效地探索和发展新想法，推动创新进程。未来，随着技术的进一步发展，该框架可能会在更广泛的应用场景中发挥重要作用。

📄 摘要（原文）

Large Language Models (LLMs) hold substantial potential for accelerating academic ideation but face critical challenges in grounding ideas and mitigating confirmation bias for further refinement. We propose integrating motivational knowledge graphs and socratic dialogue to address these limitations in enhanced LLM ideation (MotivGraph-SoIQ). This novel framework provides essential grounding and practical idea improvement steps for LLM ideation by integrating a Motivational Knowledge Graph (MotivGraph) with a Q-Driven Socratic Ideator. The MotivGraph structurally stores three key node types(problem, challenge and solution) to offer motivation grounding for the LLM ideation process. The Ideator is a dual-agent system utilizing Socratic questioning, which facilitates a rigorous refinement process that mitigates confirmation bias and improves idea quality across novelty, experimental rigor, and motivational rationality dimensions. On the ICLR25 paper topics dataset, MotivGraph-SoIQ exhibits clear advantages over existing state-of-the-art approaches across LLM-based scoring, ELO ranking, and human evaluation metrics.