Fair Document Valuation in LLM Summaries via Shapley Values
作者: Zikun Ye, Hema Yoganarasimhan
分类: cs.CL, econ.GN
发布日期: 2025-05-28 (更新: 2026-01-06)
💡 一句话要点
提出基于Shapley值的Cluster Shapley算法，用于LLM摘要中文档贡献的公平评估。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: LLM摘要 Shapley值 公平性 文档估值 内容归因
📋 核心要点
- 现有LLM摘要系统模糊了原始内容贡献者的署名权和补偿问题，缺乏公平的文档价值评估方法。
- 论文提出基于Shapley值的Cluster Shapley算法，利用文档语义相似性降低计算复杂度，实现高效的文档价值评估。
- 实验表明，Cluster Shapley在LLM摘要场景下优于传统Shapley近似方法，并在效率和准确性之间取得了更好的平衡。
📝 摘要（中文）
大型语言模型（LLM）越来越多地应用于从多个来源检索和总结内容的系统中，例如搜索引擎和AI助手。虽然这些系统通过连贯的摘要增强了用户体验，但它们模糊了原始内容创作者的个体贡献，引发了关于署名和补偿的问题。我们通过提出一个基于Shapley值的框架来解决在LLM生成的摘要中评估单个文档价值的挑战，以实现公平的文档估值。虽然理论上很有吸引力，但精确的Shapley值计算在规模上成本过高。为了提高效率，我们开发了Cluster Shapley，这是一种简单的近似算法，它利用文档之间的语义相似性来减少计算，同时保持归因准确性。使用亚马逊产品评论数据，我们通过实验表明，现成的Shapley近似方法（如蒙特卡罗抽样和Kernel SHAP）在LLM设置中表现不佳，而Cluster Shapley大大提高了效率-准确性边界。此外，简单的归因规则（例如，基于相等或相关性的分配），虽然计算成本低廉，但会导致非常不公平的结果。总之，我们的发现突出了针对LLM摘要定制的结构感知Shapley近似的潜力，并为寻求可扩展和公平的内容归因机制的平台提供了指导。
🔬 方法详解
问题定义：论文旨在解决LLM摘要生成过程中，如何公平地评估每个原始文档对最终摘要的贡献，从而进行合理的署名和补偿。现有方法，如简单的平均分配或基于相关性的分配，无法准确反映每个文档的真实价值，导致不公平的结果。精确计算Shapley值虽然理论上可行，但计算复杂度过高，难以应用于大规模文档集。
核心思路：论文的核心思路是利用文档之间的语义相似性，将相似的文档聚类，然后将每个簇视为一个整体进行Shapley值计算，从而大幅降低计算复杂度。这种方法基于的假设是，语义相似的文档对摘要的贡献也相似，因此可以近似地将它们的价值合并计算。
技术框架：整体框架包含以下几个主要步骤：1) 文档预处理：对原始文档进行清洗和向量化表示。2) 文档聚类：使用聚类算法（如k-means）基于文档的语义向量将文档分组。3) Shapley值计算：将每个文档簇视为一个参与者，计算每个簇对摘要的Shapley值。4) 价值分配：将每个簇的Shapley值分配给簇内的文档，可以采用平均分配或基于文档相关性的加权分配。
关键创新：论文的关键创新在于提出了Cluster Shapley算法，这是一种针对LLM摘要场景定制的Shapley值近似方法。与传统的Shapley近似方法（如蒙特卡罗抽样和Kernel SHAP）相比，Cluster Shapley利用了文档的结构化信息（语义相似性），从而在保证归因准确性的前提下，显著降低了计算复杂度。
关键设计：关键设计包括：1) 文档语义向量的构建方法，可以使用预训练的语言模型（如BERT）提取文档的语义特征。2) 聚类算法的选择，需要根据文档集的特点选择合适的聚类算法。3) 簇内价值分配策略，可以采用简单的平均分配，也可以根据文档与摘要的相关性进行加权分配。论文未明确指出具体的参数设置或损失函数，但强调了语义相似性在降低计算复杂度中的作用。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Cluster Shapley算法在亚马逊产品评论数据集上，显著提高了Shapley值计算的效率-准确性边界。与现成的Shapley近似方法（如蒙特卡罗抽样和Kernel SHAP）相比，Cluster Shapley在保持相似归因准确性的前提下，计算速度提升明显。此外，实验还证明了简单的归因规则（如平均分配）会导致高度不公平的结果，突显了使用公平归因方法的重要性。
🎯 应用场景
该研究成果可应用于搜索引擎、AI助手等需要从多源文档生成摘要的场景，实现对内容创作者的公平署名和补偿。通过准确评估每个文档的贡献，可以激励高质量内容的创作，并促进内容生态的健康发展。此外，该方法也可用于评估不同数据源对机器学习模型性能的贡献，从而优化数据选择和模型训练。
📄 摘要（原文）
Large Language Models (LLMs) are increasingly used in systems that retrieve and summarize content from multiple sources, such as search engines and AI assistants. While these systems enhance user experience through coherent summaries, they obscure the individual contributions of original content creators, raising concerns about credit attribution and compensation. We address the challenge of valuing individual documents used in LLM-generated summaries by proposing a Shapley value-based framework for fair document valuation. Although theoretically appealing, exact Shapley value computation is prohibitively expensive at scale. To improve efficiency, we develop Cluster Shapley, a simple approximation algorithm that leverages semantic similarity among documents to reduce computation while maintaining attribution accuracy. Using Amazon product review data, we empirically show that off-the-shelf Shapley approximations, such as Monte Carlo sampling and Kernel SHAP, perform suboptimally in LLM settings, whereas Cluster Shapley substantially improves the efficiency-accuracy frontier. Moreover, simple attribution rules (e.g., equal or relevance-based allocation), though computationally cheap, lead to highly unfair outcomes. Together, our findings highlight the potential of structure-aware Shapley approximations tailored to LLM summarization and offer guidance for platforms seeking scalable and fair content attribution mechanisms.