CRISP: Cultural Reward Modeling for Implicit Situated Propriety

📄 arXiv: 2609.34345v1 📥 PDF

作者: Zekun Yuan, Yangfan Ye, Baohang Li, Shuaibo Zhao, Zekun Zhou, Ziming Li, Qichen Hong, Kun Chen, Xiaocheng Feng

分类: cs.CL

发布日期: 2026-09-28

备注: 27 pages, 6 figrues

💡 一句话要点

提出CRISP-RM以解决文化适应性行为建模问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文化适应性 奖励建模 策略优化 多智能体框架 开放式社交场景

📋 核心要点

  1. 现有方法主要关注文化知识或预定义响应，开放式文化情境行为的研究相对不足，导致模型在多样文化背景下的适应性差。
  2. 本文提出CRISP-RM，通过文化适当性分配奖励，并引入NGS以增强模型对文化规范的敏感性，从而优化策略。
  3. 实验结果显示，CRISP-RM在奖励建模和策略优化中优于传统奖励模型，尤其在文化适应性行为上表现出显著提升。

📝 摘要（中文）

随着大型语言模型（LLMs）在不同国家和地区的广泛应用，识别和适应多样文化背景的能力变得愈发重要。然而，现有研究主要集中于文化知识或预定义响应空间的任务，而开放式文化情境行为的研究相对较少。本文提出CRISP-RM，一种文化情境奖励模型，根据开放式社交场景中的文化适当性分配奖励。在策略优化过程中，我们引入了规范基础监督（NGS），提供指导以增强策略对相关文化规范的敏感性。通过协作多智能体框架构建文化情境数据，并进一步策划NormCompass作为专用测试平台。实验结果表明，CRISP-RM在奖励建模和策略优化方面的有效性，且在GRPO策略优化中，CRISP-RM显著改善文化适应性行为，结合NGS可获得更大提升。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在开放式社交场景中对文化适当性行为的建模问题。现有方法往往忽视了文化背景的多样性，导致模型在实际应用中的适应性不足。

核心思路：CRISP-RM通过引入文化情境奖励模型，依据文化适当性为模型分配奖励，同时结合规范基础监督（NGS）来提高模型对文化规范的敏感性，从而优化策略。

技术框架：整体架构包括数据构建、奖励建模和策略优化三个主要模块。数据构建通过协作多智能体框架生成文化情境数据，奖励建模使用CRISP-RM进行文化适当性评估，策略优化则通过GRPO方法进行。

关键创新：CRISP-RM的主要创新在于其文化情境奖励模型的设计，能够在开放式社交场景中有效评估文化适当性，区别于传统的基于任务的奖励模型。

关键设计：在模型设计中，使用了特定的损失函数来优化文化适当性评估，并通过NGS提供额外的监督信号，以增强模型对文化规范的理解和应用。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，CRISP-RM在奖励建模和策略优化方面均优于强大的通用奖励模型。在GRPO策略优化中，CRISP-RM显著改善了文化适应性行为，结合NGS后进一步提升了模型的表现，具体提升幅度未明确说明。

🎯 应用场景

该研究的潜在应用领域包括跨文化交流、社交机器人、智能客服等，能够帮助模型更好地理解和适应不同文化背景下的社交行为，提升用户体验。未来，该技术可能在全球化的商业环境中发挥重要作用，促进不同文化间的有效沟通与理解。

📄 摘要（原文）

As large language models (LLMs) are increasingly deployed across countries and regions, the ability to recognize and respond appropriately to diverse cultural contexts becomes increasingly important. However, existing research has largely focused on cultural knowledge or tasks with predefined response spaces, while open-ended culturally situated behavior remains comparatively underexplored. In this work, we introduce CRISP-RM, a culturally situated reward model that assigns rewards according to cultural appropriateness in open-ended social scenarios. During policy optimization, we further introduce Norm Grounding Supervision (NGS), providing guidance that enhances the policy's sensitivity to relevant cultural norms. To construct culturally situated data, we employ a collaborative multi-agent framework that instantiates implicit cultural norms into diverse social scenarios and further curate NormCompass as a dedicated testbed. We conduct comprehensive experiments to evaluate the effectiveness of CRISP-RM in both reward modeling and policy optimization. Best-of-(N) experiments show that CRISP-RM consistently outperforms strong general reward models. During GRPO policy optimization, CRISP-RM generally improves culturally situated behavior, while incorporating NGS yields further gains. Further analyses demonstrate the advantages of CRISP-RM in distinguishing culturally appropriate behavior beyond superficial fluency and politeness, while NGS provides complementary gains during policy optimization by improving norm grounding.