Answering in the User's Variety: Calibrated Accommodation Pairs for Post-Training

📄 arXiv: 2610.28474v1 📥 PDF

作者: Zhizhuo Kou, Heming Li, Jian Yang, Junyu Luo, Jingshu Peng, Sirui Han, Yike Guo

分类: cs.CV

发布日期: 2026-10-20

🔗 代码/项目: GITHUB

💡 一句话要点

提出校准适应对以解决用户方言匹配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 聊天模型 方言适应 自然语言处理 机器学习 用户体验

📋 核心要点

  1. 现有聊天模型在回应用户时，往往忽视用户的方言，导致交流效果不佳。
  2. 本文提出校准适应对（CAP），通过奖励匹配用户方言密度来改善模型的回应方式。
  3. 实验结果显示，CAP在未训练特征上提升了模型性能，同时保持了标准英语用户的语言风格。

📝 摘要（中文）

人们在交流时会根据对方调整语言风格，但现有聊天模型通常使用标准英语回应用户，忽视了用户的方言差异。本文追踪了从监督微调到偏好优化和强化学习的后训练阶段如何影响模型的方言匹配倾向，并提出了校准适应对（CAP），以奖励匹配用户的方言密度，同时保持标准英语的使用。实验表明，CAP在未训练的特征上提高了收敛性，而不增加标准英语用户的方言使用或指令遵循的成本。

🔬 方法详解

问题定义：本文旨在解决聊天模型在回应用户时未能考虑用户方言的问题。现有方法往往使用统一的标准英语回应，无法反映用户的语言多样性，导致交流效果不佳。

核心思路：论文提出校准适应对（CAP），通过奖励模型在回应中匹配用户的方言密度，从而提高模型的适应性，同时保持标准英语的使用。这样的设计旨在实现更自然的交流效果。

技术框架：整体架构包括三个主要阶段：监督微调（SFT）、偏好优化（DPO）和强化学习。每个阶段都对模型的方言匹配倾向进行调整，最终通过CAP实现对用户方言的有效响应。

关键创新：最重要的技术创新在于引入了校准适应对（CAP），这一方法能够在不增加标准英语用户方言使用的情况下，提高模型对未训练特征的收敛性。这与现有的一侧适应对方法形成鲜明对比，后者往往会过度调整用户的方言。

关键设计：在模型训练中，CAP通过特定的损失函数和奖励机制来鼓励模型生成符合用户方言的回应，同时确保标准英语用户的语言风格不受影响。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，使用校准适应对（CAP）后，模型在未训练特征上的收敛性显著提高，且标准英语用户的方言使用没有增加，指令遵循的成本也未受到影响。这一成果展示了CAP在提高模型适应性方面的有效性。

🎯 应用场景

该研究的潜在应用场景包括智能客服、社交聊天机器人和教育领域等，能够提升人机交互的自然性和用户满意度。通过更好地理解和适应用户的语言风格，未来的聊天模型将能够提供更个性化的服务，增强用户体验。

📄 摘要（原文）

People adapt how they talk to the person in front of them. However, chat models tend to respond in Standard English regardless of the dialect used by the user. A uniform answer can hide whether training treats these users alike, and output audits cannot tell as well. We trace how each post-training stage, from supervised fine-tuning (SFT) to preference optimization (DPO) and reinforcement learning, changes a model's tendency to match the user, and read what each update prefers from two content-matched replies, one matching the user and one not. Across 10 open model lineages, post-training standardizes replies to every informal cue, yet after adjusting for how likely each reply already was, the DPO update still favours matching British and Australian spelling over AAE and Singlish on 10 lineages, and models still produce AAE features when asked. We then introduce calibrated accommodation pairs (CAP), preference data that reward matching users' dialect density while preserving Standard English for Standard-English users. On a fully open model, CAP raises convergence on features it was not trained on without a detectable increase in dialect for Standard-English users or a cost in instruction following. In contrast, one-sided pairs reach a similar gain only by overshooting the user and imposing dialect. Our findings show that uniform replies can hide selective updates and audits should read the update as well as the output. Code: https://github.com/kouzhizhuo/cap-accommodation.