Echoes of Deeds: Moral History Can Shape and Steer LLM Behavioral Choices

📄 arXiv: 2609.35070v1 📥 PDF

作者: Lucio La Cava, Andrea Tagarelli

分类: cs.CL, cs.AI, cs.CY

发布日期: 2026-09-28

💡 一句话要点

提出MoralLedger框架以研究道德历史对LLM行为选择的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 道德决策 MoralLedger 行为分析 内部表示 道德历史 模型控制

📋 核心要点

  1. 现有方法通常孤立评估LLM的道德决策，未考虑先前行为对后续选择的影响，存在研究空白。
  2. 论文提出MoralLedger框架，研究道德历史如何在固定决策背景下影响LLM的行为和内部表示。
  3. 实验结果表明，先前的道德历史显著改变后续选择，且在内部表示层面产生可恢复的方向，影响强于单纯提示。

📝 摘要（中文）

大型语言模型（LLMs）的道德评估通常孤立地考虑决策，忽视了个体不相关的先前行为对模型后续选择的影响。本文探讨道德历史如何影响LLM的决策行为，提出了MoralLedger框架，研究道德历史在固定决策背景下如何塑造LLM的行为。研究发现，先前的道德历史系统性地改变后续选择，并且在内部表示层面，这些历史会在残余流中诱导出可线性恢复的方向。我们的研究首次展示了先前道德行为的潜在表示可以在推理时控制道德决策，扩展了道德评估的范围。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLMs）道德决策评估中忽视道德历史影响的问题。现有方法未考虑个体的先前行为如何影响后续决策，导致对模型行为的理解不够全面。

核心思路：研究基于人类道德决策的观察，探讨道德历史在LLMs中的类似效应。通过MoralLedger框架，分析道德历史在行为层面和内部表示层面的影响。

技术框架：MoralLedger框架包括两个主要模块：行为层面分析和内部表示分析。行为层面通过观察模型的响应变化，内部表示层面则通过分析模型的潜在表示来评估道德历史的影响。

关键创新：首次展示了潜在的道德历史表示可以在推理时控制道德决策，提供了一种新的审计和控制LLMs道德行为的方法，超越了静态困境的评估。

关键设计：在实验中，设计了不同的道德历史情境，使用线性恢复方法分析残余流的变化，评估其对后续选择的影响，发现道德历史的强度和情感倾向对选择有显著影响。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，先前的道德历史显著改变了LLMs的后续选择，且这种影响的强度和方向与历史的情感倾向和强度密切相关。与单纯提示相比，基于道德历史的干预在选择变化上表现出更强的效果，验证了MoralLedger框架的有效性。

🎯 应用场景

该研究的潜在应用领域包括道德决策支持系统、自动化内容生成和人机交互等。通过理解道德历史对LLMs行为的影响，可以在实际应用中更好地审计和控制模型的道德行为，提升其在敏感场景下的可靠性和安全性。

📄 摘要（原文）

Evaluations of Large Language Models (LLMs) morality typically consider decisions in isolation, thus overlooking whether an individual's unrelated prior conduct influences the model's subsequent choices. This leaves open the question of whether, and to what extent, moral history shapes LLM decisional behaviors. Prior work on human moral decision-making shows that past behavior can influence subsequent moral choices. Building on this observation, we investigate whether analogous effects emerge in LLMs in two complementary ways: at the behavioral level, through the model's observable responses, and at the representation level, through its latent internal representations. We introduce MoralLedger, a framework for studying how an actor's moral history shapes actions for LLMs' behaviors under a fixed decision context. At the behavioral level, we find that prior moral histories systematically alter subsequent choices as a function of their valence and intensity. At the internal representation level, these histories induce a linearly recoverable direction in the residual stream that generalizes to held-out examples. Intervening along this direction on neutral-history prompts produces two-sided intensity-dependent changes in subsequent choices, with effects that are stronger than those induced by prompting alone or by favorable-nonmoral direction. To our knowledge, this is the first demonstration that a latent representation of an actor's prior moral conduct can provide signed inference-time control over a moral decision. Our MoralLedger extends moral evaluation beyond static dilemmas, establishing moral history as both a source of behavioral sensitivity and a causal target for auditing and controlling moral behavior in LLMs.