How Temperature Shapes Ideological Discourse in Retrieval-Augmented Generation?

📄 arXiv: 2607.11783v1 📥 PDF

作者: Elmira Salari, Hazem Amamou, José Victor de Souza, Shruti Kshirsagar, Maria Nunes Delfino, Anderson Avila

分类: cs.CL

发布日期: 2026-07-13

💡 一句话要点

研究RAG框架中温度对意识形态话语的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 意识形态偏见 大型语言模型 词汇多维分析 文本生成 语义一致性 采样温度

📋 核心要点

  1. 现有方法未能充分考虑检索增强生成中的意识形态偏见对输出的影响，导致生成内容可能传递或放大偏见。
  2. 本研究通过应用词汇多维分析（LMDA）识别意识形态话语，并评估不同温度下LLM生成的答案，探讨温度对意识形态转移的影响。
  3. 实验结果表明，在中等温度下生成的答案与参考文本的语义一致性最高，而低温度则抑制了意识形态话语的转移。

📝 摘要（中文）

检索增强生成（RAG）已被广泛采用，以减少幻觉并增强大型语言模型（LLMs）的事实基础。尽管对检索过程中的错误鲁棒性进行了探索，但意识形态偏见对LLM输出的影响却被忽视。本研究通过分析RAG框架中意识形态话语对LLM生成答案的影响，应用词汇多维分析（LMDA）对1,117篇COVID-19治疗文章进行分析，识别出三种意识形态话语。实验结果表明，RAG框架容易将意识形态话语转移到LLM响应中，采样温度对这种转移的强度有显著影响。

🔬 方法详解

问题定义：本研究旨在解决检索增强生成（RAG）框架中意识形态偏见对大型语言模型（LLMs）输出的影响。现有方法未能考虑这一点，导致生成内容可能传递或放大意识形态偏见。

核心思路：通过分析RAG框架中意识形态话语的影响，采用词汇多维分析（LMDA）识别意识形态话语，并在不同采样温度下评估LLM生成的答案，以探讨温度对意识形态转移的影响。

技术框架：研究首先构建了一个包含1,117篇COVID-19治疗文章的语料库，识别出三种意识形态话语。然后，使用该语料库作为RAG的外部知识源，评估多个LLM在回答意识形态问题时的表现。

关键创新：本研究的创新点在于首次系统性地探讨了RAG框架中意识形态话语的转移及其与采样温度的关系，揭示了中等温度下生成答案的语义一致性最高。

关键设计：在实验中，设置了不同的采样温度以观察其对生成文本的影响，采用语义和词汇相似性评估生成文本与参考文本之间的关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在中等采样温度下，生成的答案与意识形态参考文本的语义一致性最高，表明RAG框架在意识形态话语转移方面的有效性。低温度下的生成文本则表现出较低的意识形态一致性，强调了采样温度对输出内容的影响。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容生成、新闻报道自动化及教育领域的智能问答系统。通过理解意识形态话语的影响，可以提升生成模型的公正性和准确性，减少偏见传播，具有重要的社会价值和实际意义。

📄 摘要（原文）

Retrieval-Augmented Generation (RAG) has been increasingly adopted to reduce hallucinations and strengthen the factual grounding of large language models (LLMs). While robustness to errors in the retrieval process has been explored, the impact of ideological bias on LLM outputs has been overlooked. For instance, if the retrieved material contains ideological positions, the RAG may transmit, amplify, or suppress such ideological discourses in its outputs. In this study, we address this issue by examining the influence of the RAG framework, comprising ideological discourses, in LLM-generated answers. To this end, we applied Lexical Multidimensional Analysis (LMDA) on a corpus of 1,117 COVID-19 treatment articles, identifying three ideological discourses. This corpus is then used as the external knowledge source for the RAG. We assessed several LLMs by having the models answer ideological questions at different sampling temperatures. The generated texts were assessed semantically and lexically based on their similarities with ideological reference texts. Our findings show that the RAG framework is prone to transferring ideological discourses into LLM responses, with sampling temperature having a measurable impact on the strength of this transfer. Discoursive alignment between generated answers and the reference text is highest at moderate temperatures, where models balance stochasticity with retrieval grounding, and drops at low temperatures, indicating that overly deterministic sampling suppresses discourse transfer.