Information Diffusion and Preferential Attachment in a Network of Large Language Models

📄 arXiv: 2504.14438v1 📥 PDF

作者: Adit Jain, Vikram Krishnamurthy, Yiming Zhang

分类: cs.SI, eess.SY

发布日期: 2025-04-20

💡 一句话要点

提出基于声誉的优先连接机制，提升LLM网络信息传播的真实性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 信息扩散 优先连接 声誉机制 幻觉抑制 分布式查询 网络动态

📋 核心要点

  1. 现有LLM网络在处理分布式数据查询时，存在产生幻觉的问题，影响信息传播的可靠性。
  2. 论文提出基于声誉的优先连接机制，通过LLM对邻居的评估来动态调整网络连接，提升真实节点的影响力。
  3. 实验结果表明，该机制能有效减轻幻觉，优化两时间尺度系统的成本函数，提升LLM网络的性能。

📝 摘要（中文）

本文构建了一个大型语言模型（LLM）网络的信息扩散模型，该网络旨在回答来自分布式数据集的查询，其中LLM可能产生幻觉。我们引入了一个中心管理的网络的两时间尺度动态模型，其中观点演变速度较快，而网络的度分布变化较慢。利用平均场近似，我们建立了所有LLM保持真实状态的局部渐近稳定平衡的条件。我们为平均场近似和两时间尺度系统的奇异摄动近似提供了近似保证。为了减轻幻觉并提高真实节点的影响力，我们提出了一种基于声誉的优先连接机制，该机制根据LLM对其邻居的评估来重新配置网络。在开源LLM（LLaMA-3.1-8B）上的数值实验验证了我们优先连接机制的有效性，并展示了两时间尺度系统成本函数的优化。

🔬 方法详解

问题定义：论文旨在解决LLM网络中信息扩散时，由于LLM可能产生幻觉而导致的信息失真问题。现有方法难以有效抑制幻觉的传播，降低了网络整体的可靠性和准确性。特别是在分布式数据集查询场景下，幻觉问题会更加突出。

核心思路：论文的核心思路是利用LLM之间的相互评估，构建一个基于声誉的优先连接机制。通过让LLM评估其邻居的可靠性，并根据评估结果调整网络连接，使得更可靠（即更少产生幻觉）的LLM节点拥有更高的连接度，从而在信息传播中发挥更大的影响力。

技术框架：该研究构建了一个两时间尺度动态模型。在较快的时间尺度上，LLM的观点（即对某个问题的回答）会根据其邻居的观点进行演变。在较慢的时间尺度上，网络的连接结构会根据LLM的声誉进行调整。整体流程如下：1. LLM网络接收来自分布式数据集的查询；2. LLM根据自身知识和邻居信息生成答案；3. LLM评估其邻居的可靠性；4. 根据评估结果，利用优先连接机制调整网络连接；5. 重复步骤1-4，直到网络达到稳定状态。

关键创新：论文的关键创新在于提出了基于声誉的优先连接机制。与传统的优先连接机制不同，该机制不是简单地根据节点的度来决定连接概率，而是根据节点（LLM）的声誉（即其他LLM对其可靠性的评估）来决定连接概率。这种机制能够更有效地提升真实节点的影响力，抑制幻觉的传播。

关键设计：论文使用平均场近似来分析两时间尺度动态模型，并建立了局部渐近稳定平衡的条件，保证所有LLM保持真实状态。优先连接机制的具体实现方式是：每个LLM维护一个邻居列表，并定期根据邻居的声誉重新选择邻居。声誉的计算方式可以根据具体应用场景进行调整，例如可以采用加权平均的方式，考虑不同邻居的评估权重。论文还优化了一个成本函数，该函数同时考虑了信息的准确性和网络的连接成本。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于声誉的优先连接机制能够有效减轻LLM网络中的幻觉现象，并优化两时间尺度系统的成本函数。在 LLaMA-3.1-8B 模型上的实验验证了该机制的有效性。具体性能提升数据未知，但实验结果表明该机制能够提升真实节点的影响力，降低虚假信息的传播。

🎯 应用场景

该研究成果可应用于构建更可靠、更值得信赖的LLM网络，尤其是在需要处理分布式数据查询的场景下。例如，可以应用于金融风控、医疗诊断、智能客服等领域，提升LLM在这些领域的应用价值和可信度。此外，该研究也为设计更有效的LLM治理机制提供了新的思路。

📄 摘要（原文）

This paper models information diffusion in a network of Large Language Models (LLMs) that is designed to answer queries from distributed datasets, where the LLMs can hallucinate the answer. We introduce a two-time-scale dynamical model for the centrally administered network, where opinions evolve faster while the network's degree distribution changes more slowly. Using a mean-field approximation, we establish conditions for a locally asymptotically stable equilibrium where all LLMs remain truthful. We provide approximation guarantees for the mean-field approximation and a singularly perturbed approximation of the two-time-scale system. To mitigate hallucination and improve the influence of truthful nodes, we propose a reputation-based preferential attachment mechanism that reconfigures the network based on LLMs' evaluations of their neighbors. Numerical experiments on an open-source LLM (LLaMA-3.1-8B) validate the efficacy of our preferential attachment mechanism and demonstrate the optimization of a cost function for the two-time-scale system.