SDPO: Segment-Level Direct Preference Optimization for Social Agents

📄 arXiv: 2501.01821v2 📥 PDF

作者: Aobo Kong, Wentao Ma, Shiwan Zhao, Yongbin Li, Yuchuan Wu, Ke Wang, Xiaoqian Liu, Qicheng Li, Yong Qin, Fei Huang

分类: cs.AI, cs.CL

发布日期: 2025-01-03 (更新: 2025-02-27)

🔗 代码/项目: GITHUB

💡 一句话要点

提出SDPO：用于社交智能体的段落级直接偏好优化方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 社交智能体 直接偏好优化 多轮对话 段落级优化 大型语言模型

📋 核心要点

  1. 现有基于DPO的多回合对话优化方法粒度粗糙，引入噪声，缺乏理论支撑，限制了社交智能体的性能。
  2. SDPO通过动态选择交互中的关键段落进行优化，降低噪声，并提供严格的理论框架。
  3. 实验表明，SDPO优于现有DPO方法和GPT-4o，显著提升了社交智能体的性能。

📝 摘要（中文）

基于大型语言模型（LLM）的社交智能体能够模拟人类社交行为，但在处理复杂的社交对话方面存在不足。直接偏好优化（DPO）已被证明在使LLM行为与人类偏好对齐方面有效。然而，标准DPO仅关注单个回合，限制了其在多回合社交互动中的有效性。一些基于DPO的多回合对齐方法显示出解决此问题的潜力。但这些方法通常过于粗粒度，引入训练噪声，并且缺乏可靠的理论支持。为了解决这些限制，我们提出了段落级直接偏好优化（SDPO），它动态选择交互中的关键段落来优化多回合智能体行为。SDPO最大限度地减少了训练噪声，并具有严格的理论基础。在SOTOPIA基准上的评估表明，经过SDPO调整的智能体始终优于现有的基于DPO的方法和专有LLM（如GPT-4o），突显了SDPO在提升基于LLM的智能体的社交智能方面的潜力。我们已在https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/SDPO发布了我们的代码和数据。

🔬 方法详解

问题定义：论文旨在解决社交智能体在多轮对话中，由于现有直接偏好优化（DPO）方法的局限性而导致的性能瓶颈。现有方法，特别是那些基于会话级别的DPO变体，通常将整个对话视为一个整体进行优化，忽略了对话中不同部分的重要性差异，导致训练噪声的引入和优化效果不佳。因此，如何更有效地利用多轮对话数据，提升社交智能体的对话能力，是本文要解决的核心问题。

核心思路：SDPO的核心思路是，并非对话中的所有部分都同等重要，关键在于识别并优化那些包含关键信息或决策点的对话片段（segments）。通过聚焦于这些关键片段，可以减少训练噪声，提高优化效率，并使智能体更好地学习人类偏好。这种段落级别的优化策略能够更精细地控制智能体的行为，使其在多轮对话中表现得更加自然和智能。

技术框架：SDPO的技术框架主要包括以下几个阶段：1) 对话数据收集：收集包含人类偏好的多轮对话数据。2) 段落分割：将对话分割成多个段落（segments）。3) 关键段落选择：使用某种策略（例如，基于奖励或信息量的指标）选择对优化目标贡献最大的关键段落。4) DPO优化：使用DPO算法，仅基于选定的关键段落进行模型优化。5) 模型评估：在SOTOPIA等基准数据集上评估模型的性能。

关键创新：SDPO最关键的创新点在于其段落级别的优化策略。与传统的DPO方法（仅关注单轮对话）和会话级别的DPO变体（将整个对话视为一个整体）不同，SDPO能够动态地选择对话中的关键段落进行优化，从而更有效地利用数据，减少训练噪声，并提高优化效率。这种细粒度的优化策略使得智能体能够更好地学习人类偏好，并在多轮对话中表现得更加自然和智能。

关键设计：SDPO的关键设计包括：1) 段落分割策略：如何将对话分割成有意义的段落。2) 关键段落选择策略：如何选择对优化目标贡献最大的关键段落，例如，可以使用基于奖励的策略，选择奖励最高的段落；或者可以使用基于信息量的策略，选择包含最多信息的段落。3) DPO损失函数：使用标准的DPO损失函数，但仅基于选定的关键段落进行计算。4) 超参数调整：调整DPO算法中的超参数，例如，学习率、正则化系数等，以获得最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在SOTOPIA基准测试中，SDPO显著优于现有的基于DPO的方法，以及诸如GPT-4o等专有LLM。实验结果表明，SDPO能够有效地提升社交智能体的对话能力，使其在多轮对话中表现得更加自然和智能。具体的性能提升数据在论文中进行了详细展示，证明了SDPO的有效性和优越性。

🎯 应用场景

SDPO技术可应用于各种需要多轮对话的社交智能体场景，例如虚拟助手、在线客服、社交机器人等。通过提升智能体的对话能力和社交智能，可以改善用户体验，提高服务效率，并创造更具人情味的交互体验。未来，SDPO有望推动人机交互领域的发展，使智能体更好地理解和适应人类的社交行为。

📄 摘要（原文）

Social agents powered by large language models (LLMs) can simulate human social behaviors but fall short in handling complex social dialogues. Direct Preference Optimization (DPO) has proven effective in aligning LLM behavior with human preferences across various agent tasks. However, standard DPO focuses solely on individual turns, which limits its effectiveness in multi-turn social interactions. Several DPO-based multi-turn alignment methods with session-level data have shown potential in addressing this problem.While these methods consider multiple turns across entire sessions, they are often overly coarse-grained, introducing training noise, and lack robust theoretical support. To resolve these limitations, we propose Segment-Level Direct Preference Optimization (SDPO), which dynamically select key segments within interactions to optimize multi-turn agent behavior. SDPO minimizes training noise and is grounded in a rigorous theoretical framework. Evaluations on the SOTOPIA benchmark demonstrate that SDPO-tuned agents consistently outperform both existing DPO-based methods and proprietary LLMs like GPT-4o, underscoring SDPO's potential to advance the social intelligence of LLM-based agents. We release our code and data at https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/SDPO.