Steering LLMs Responses Towards Moral Foundations on the Norwegian MFQ-30
作者: Hans Andersen, David Dichas
分类: cs.CL, cs.AI, cs.CY
发布日期: 2026-09-18
备注: 13 pages, 4 figures, 7 tables. Awarded best Paper Award at WNNLP 2026 (University of Oslo). Proceedings: https://www.uio.no/studier/emner/matnat/ifi/IN5550/v26/final-exam/wnnlp2026_proceedings.pdf
💡 一句话要点
通过道德基础引导大型语言模型的响应
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 道德基础 大型语言模型 心理测量 引导干预 挪威MFQ-30
📋 核心要点
- 现有方法在评估大型语言模型的道德特征时缺乏稳定性，难以确保模型输出与目标人群一致。
- 论文提出通过提示级别的人物引导和激活级别的ActAdd来调整模型的道德基础响应，以提高其与人类样本的相似性。
- 实验结果表明，使用中立角色的模型在道德基础特征上显著接近挪威均值，部分模型的参与度也有所提升。
📝 摘要（中文）
近期研究将人类心理测量问卷应用于大型语言模型，以引导其道德和价值观特征，但尚不清楚这些工具是否能稳定测量模型的特征。本文使用挪威道德基础问卷（MFQ-30）对六个开放权重的语言模型进行评估，并将其特征与1282名挪威受访者的样本进行比较。我们测试了两种引导干预措施：提示级别的人物引导和激活级别的ActAdd。结果显示，部分模型在问卷中表现良好，而其他模型则输出平坦或中心倾向的结果。通过中立的北欧受访者角色，参与模型的特征与挪威均值的接近度提高了44-77%。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在道德特征评估中的不稳定性和与目标人群一致性不足的问题。现有方法往往导致模型输出缺乏深度和个性化。
核心思路：通过引入两种引导干预措施，提示级别的人物引导和激活级别的ActAdd，旨在增强模型对道德基础问卷的响应能力，从而使其输出更符合目标人群的道德特征。
技术框架：研究首先对六个开放权重的语言模型进行道德基础问卷评估，然后应用两种引导策略进行干预，最后比较模型输出与挪威受访者样本的道德特征相似度。
关键创新：论文的创新在于通过中立角色的引导显著提高了模型的道德特征接近度，且部分模型在引导后表现出更高的参与度，这是对现有方法的实质性改进。
关键设计：在实验中，模型的引导策略包括对提示的设计和激活层的选择，特别是使用固定中层的ActAdd方法，尽管该方法在某些情况下导致特征平坦化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用中立北欧角色的模型在道德基础特征上与挪威均值的接近度提高了44-77%。此外，部分模型在引导后表现出更高的参与度，这是对基线状态的显著改善。
🎯 应用场景
该研究的潜在应用领域包括道德决策支持系统、社会机器人以及教育领域的智能辅导系统。通过优化语言模型的道德响应能力，可以提升其在与人类交互时的可信度和有效性，进而影响人机协作的未来发展。
📄 摘要（原文）
Recent work applies human psychometric questionnaires to large language models to elicit moral and value profiles, but it is not clear whether these instruments measure anything stable in models or whether the resulting profiles can be moved toward a target human population. We administer the Norwegian Moral Foundations Questionnaire (MFQ-30) to six open-weight LLMs and compare their foundation profiles to a sample of N = 1,282 Norwegian respondents. We test two steering interventions, prompt-level persona steering and activation-level ActAdd. Half the models engage with the questionnaire under our attention check. The other half default to flat or central-tendency outputs that look near-human on average without tracking item content. A neutral Nordic-respondent persona, written without any distributional information from the human sample, brings the engaging models 44-77% closer to the Norwegian mean in Mahalanobis $d^2$. One-pair ActAdd at a fixed mid-layer flattens the foundation profile rather than steering individual foundations. For at least one model the same persona that shifts the profile also induces engagement that was absent at baseline, a concrete instance of the cognitive phantoms that Peereboom et al. (2025) warn about.