RELATE: An Evaluation Framework for measuring Relational Orientation of Large Language Models

📄 arXiv: 2610.09569v1 📥 PDF

作者: Shivam Shukla, Jihye Kim, Shubham Gaur, Mahnaz Roshanaei, Magy Seif El-Nasr

分类: cs.CL

发布日期: 2026-10-07

💡 一句话要点

提出RELATE框架以评估大型语言模型的关系导向

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 情感支持 关系导向 多轮对话 评估框架 心理学 社会学

📋 核心要点

  1. 现有评估方法主要关注LLMs的安全性和同理心，未能深入探讨模型如何引导用户与现实世界建立联系。
  2. 本文提出RELATE框架，通过内向和外向支撑语言两个维度，系统性地评估LLMs的关系导向。
  3. 实验结果显示，随着对话轮次的增加，内向语言的比例上升，而犹豫用户的外向支撑语言比例显著低于明确寻求安慰的用户。

📝 摘要（中文）

大型语言模型（LLMs）在情感支持中的应用日益增加，但其可能导致用户与现实关系的疏远。现有评估主要关注安全性、同理心或帮助性，缺乏对模型如何引导用户获得持续支持的研究。为此，本文引入关系导向的概念，并通过内向（IF）和外向支撑（OS）语言两个维度进行量化。我们提出RELATE框架，能够在多轮对话中逐句测量这两种语言特征。通过对76种求助情境和三种用户风格的模拟，我们评估了七个LLMs，结果显示第六轮助手回复的IF语言比例高于第一轮，而对于犹豫的用户，OS语言比例显著低于明确寻求安慰的用户。RELATE为支持性LLMs的关系导向审计和引导提供了可重复的框架。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在情感支持中可能导致用户与现实关系疏远的问题。现有方法未能充分评估模型的关系导向，尤其是在用户持续支持的引导方面存在不足。

核心思路：提出关系导向的概念，通过内向（IF）和外向支撑（OS）语言两个维度进行量化，旨在帮助理解和引导LLMs的支持性语言特征。

技术框架：RELATE框架包含多个模块，首先是情境适配，结合76种求助情境和三种用户风格，生成228个评估刺激。然后，通过多轮对话评估LLMs的语言特征，最后进行数据分析和结果评估。

关键创新：最重要的创新在于引入了关系导向的量化评估框架，能够在句子层面上分析LLMs的内向和外向语言特征，与现有方法相比，提供了更细致的审计工具。

关键设计：在实验中，使用了76种求助情境和三种用户风格，生成了1,596个对话和69,194个助手句子，采用了基于评分标准的LLM评估和二次评估机制，确保评估的准确性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在多轮对话中，第六轮助手回复的内向语言比例显著高于第一轮，显示出LLMs在持续支持中的引导能力。同时，对于犹豫和间接的用户，外向支撑语言的比例显著低于明确寻求安慰的用户，反映出用户风格对语言特征的影响。

🎯 应用场景

该研究的潜在应用领域包括情感支持系统、心理健康应用和人机交互设计。通过优化LLMs的关系导向，可以提高用户的真实社交连接，减少对虚拟支持的依赖，促进更健康的社交行为。未来，该框架还可以扩展到其他类型的对话系统中，提升其人性化和支持性。

📄 摘要（原文）

Large language models (LLMs) are increasingly used for emotional support, raising concern that sustained use may draw users away from their real-world relationships. Yet existing evaluations primarily focus on the safety, empathy, or helpfulness of responses, leaving under-examined a relational question: where does the model orient the user for continued support? To address this question, we introduce relational orientation, a property operationalized through two non-exclusive dimensions: inward-facing (IF) language, which positions the AI as the user's ongoing source of support, and outward-scaffolding (OS) language, which encourages real-world human connection. Grounded in psychological and sociological literature, we formalize a taxonomy of relational orientation and present RELATE, a persona-conditioned framework for measuring inward-facing and outward-scaffolding language at the sentence level in multi-turn dialogues. RELATE pairs 76 help-seeking situations adapted from naturally occurring questions with three simulated user styles, providing 228 evaluation stimuli. In our experiments, we evaluate seven LLMs using dialogues with six assistant turns each, yielding 1,596 dialogues and 69,194 assistant sentences. We assess these sentences using a primary rubric-based LLM judge and apply a secondary judge to a subset. Under automated evaluation, we find that the proportion of sentences labeled as IF is higher at the sixth assistant turn than at the first, while the proportion labeled as OS is substantially lower for hesitant, indirect simulated users than for explicit, reassurance-seeking users. RELATE provides a reproducible framework and a sentence-level signal for auditing and steering the relational orientation of supportive LLMs.