The Impact of Ideological Discourses in RAG: A Case Study with COVID-19 Treatments

📄 arXiv: 2603.14838v1 📥 PDF

作者: Elmira Salari, Maria Claudia Nunes Delfino, Hazem Amamou, José Victor de Souza, Shruti Kshirsagar, Alan Davoust, Anderson Avila

分类: cs.CL

发布日期: 2026-03-16

💡 一句话要点

研究意识形态文本对RAG模型输出的影响，以COVID-19治疗为例。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 意识形态偏见 大型语言模型 COVID-19治疗 词汇多维分析

📋 核心要点

  1. 现有研究较少关注检索增强生成（RAG）中意识形态的影响，这可能导致模型输出带有偏见或被恶意操纵。
  2. 论文构建了一个关于COVID-19治疗的意识形态文本语料库，并利用词汇多维分析（LMDA）识别其中的意识形态维度。
  3. 实验结果表明，RAG模型在检索到意识形态文本后，其输出会与这些文本的意识形态更加一致，增强的提示会进一步强化这种影响。

📝 摘要（中文）

本文研究了检索到的意识形态文本对大型语言模型（LLM）输出的影响。尽管最近人们对理解LLM中的意识形态的兴趣日益浓厚，但在检索增强生成（RAG）的背景下，这个问题却很少受到关注。为了填补这一空白，我们设计了一个基于关于COVID-19治疗的意识形态文本的外部知识源。我们的语料库基于1117篇学术文章，代表了关于该疾病的有争议和认可的治疗方法的论述。我们提出了一个基于词汇多维分析（LMDA）的语料库语言学框架，以识别语料库中的意识形态。LLM的任务是回答来自三个已识别的意识形态维度的问题，并采用两种类型的上下文提示：第一种包括用户问题和意识形态文本；第二种包含问题、意识形态文本和LMDA描述。参考意识形态文本和LLM响应之间的意识形态对齐使用词汇和语义表示的余弦相似度进行评估。结果表明，基于意识形态检索文本的LLM响应与外部知识中遇到的意识形态更加一致，增强的提示进一步影响了LLM的输出。我们的研究结果强调了在RAG框架内识别意识形态论述的重要性，以减轻不仅是无意的意识形态偏见，还有恶意操纵此类模型的风险。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）在检索增强生成（RAG）框架下，容易受到检索到的外部知识中存在的意识形态的影响，从而导致模型输出带有偏见或被恶意操纵。现有的研究对RAG框架下意识形态的影响关注不足。

核心思路：通过构建一个包含意识形态信息的外部知识源，并分析LLM在检索和利用这些知识时的行为，来研究意识形态对RAG模型输出的影响。核心在于量化意识形态的对齐程度，并观察不同提示方式对模型输出的影响。

技术框架：该研究的技术框架主要包含以下几个阶段：1) 构建包含意识形态信息的COVID-19治疗相关学术文章语料库；2) 使用词汇多维分析（LMDA）识别语料库中的意识形态维度；3) 设计基于这些维度的问答任务，并使用RAG模型生成答案；4) 通过计算余弦相似度来评估模型输出与参考意识形态文本之间的对齐程度。

关键创新：该研究的关键创新在于：1) 首次在RAG框架下系统地研究了意识形态的影响；2) 提出了一个基于LMDA的语料库语言学框架来识别和量化意识形态；3) 通过设计不同的提示方式，探索了如何减轻或增强意识形态对模型输出的影响。

关键设计：在实验设计方面，论文采用了两种类型的上下文提示：一种只包含用户问题和意识形态文本，另一种则包含用户问题、意识形态文本和LMDA描述。通过对比这两种提示方式下模型输出的意识形态对齐程度，可以评估LMDA描述对减轻或增强意识形态影响的作用。余弦相似度被用作评估意识形态对齐程度的关键指标。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于意识形态检索文本的LLM响应与外部知识中遇到的意识形态更加一致。此外，增强的提示（包含LMDA描述）进一步影响了LLM的输出，表明可以通过调整提示方式来控制意识形态对模型的影响。通过余弦相似度量化了意识形态对齐程度，为后续研究提供了可参考的指标。

🎯 应用场景

该研究成果可应用于构建更可靠、更公正的RAG系统，尤其是在涉及敏感话题或存在意识形态争议的领域，例如医疗健康、政治新闻等。通过识别和减轻RAG系统中潜在的意识形态偏见，可以提高模型的可信度和安全性，防止其被用于传播虚假信息或进行恶意操纵。

📄 摘要（原文）

This paper studies the impact of retrieved ideological texts on the outputs of large language models (LLMs). While interest in understanding ideology in LLMs has recently increased, little attention has been given to this issue in the context of Retrieval-Augmented Generation (RAG). To fill this gap, we design an external knowledge source based on ideological loaded texts about COVID-19 treatments. Our corpus is based on 1,117 academic articles representing discourses about controversial and endorsed treatments for the disease. We propose a corpus linguistics framework, based on Lexical Multidimensional Analysis (LMDA), to identify the ideologies within the corpus. LLMs are tasked to answer questions derived from three identified ideological dimensions, and two types of contextual prompts are adopted: the first comprises the user question and ideological texts; and the second contains the question, ideological texts, and LMDA descriptions. Ideological alignment between reference ideological texts and LLMs' responses is assessed using cosine similarity for lexical and semantic representations. Results demonstrate that LLMs' responses based on ideological retrieved texts are more aligned with the ideology encountered in the external knowledge, with the enhanced prompt further influencing LLMs' outputs. Our findings highlight the importance of identifying ideological discourses within the RAG framework in order to mitigate not just unintended ideological bias, but also the risks of malicious manipulation of such models.