Subjective Behaviors and Preferences in LLM: Language of Browsing

📄 arXiv: 2508.15474v3 📥 PDF

作者: Sai Sundaresan, Harshita Chopra, Atanu R. Sinha, Koustava Goswami, Nagasai Saketh Naidu, Raghav Karan, N Anushka

分类: cs.CL, cs.AI

发布日期: 2025-08-21 (更新: 2025-09-18)

备注: Accepted at EMNLP 2025

💡 一句话要点

提出HeTLM以更好地捕捉用户的主观行为与偏好

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 主观行为 用户偏好 集群化训练 个性化推荐 HeTLM 性能提升

📋 核心要点

  1. 现有的大型语言模型在捕捉用户的主观行为和偏好时存在局限性，无法有效反映用户的个性化浏览习惯。
  2. 论文提出了集群化语言模型训练方法HeTLM，旨在通过异质集群特定参数集来更好地捕捉用户的主观行为。
  3. 实验结果表明，使用小型语言模型和HeTLM方法在生成性能上均优于传统的大型语言模型，且对齐效果显著提升。

📝 摘要（中文）

大型语言模型（LLM）在多个领域和任务中展现出灵活性，然而用户的主观行为和偏好在其浏览网站或应用时表现出独特性。本文探讨小型语言模型是否能更好地表示这种“浏览语言”，并提出了集群化语言模型训练方法HeTLM，以应对用户行为的异质性。研究发现，使用页面级标记器训练的小型语言模型在性能上优于大型预训练或微调的模型，而HeTLM通过异质集群特定参数集的方式，显著提升了模型的对齐效果。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在捕捉用户主观行为和偏好时的不足，尤其是在用户浏览行为的个性化表现上存在的挑战。现有方法往往无法有效适应用户的异质性和个体差异。

核心思路：论文提出的HeTLM方法通过集群化训练，利用异质集群特定的参数集来更好地适应不同用户的主观行为，从而提升模型的对齐效果和生成质量。

技术框架：整体架构包括数据收集、用户行为分析、集群划分、模型训练和性能评估五个主要模块。通过分析用户的浏览日志，构建用户特征集群，并针对每个集群训练特定的语言模型。

关键创新：HeTLM的核心创新在于其集群化训练策略，允许模型在不同用户群体中共享知识，同时保持个体化的适应性。这与传统的单一模型训练方法形成鲜明对比。

关键设计：在模型设计中，采用了页面级标记器进行训练，并设置了异质集群特定的参数集。损失函数设计上，注重提高生成的均值和降低方差，以确保模型在用户层面的对齐效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用页面级标记器的小型语言模型在性能上超越了大型预训练或微调的模型，且HeTLM在控制参数数量的情况下，显著提高了生成的均值并降低了方差，表明其在用户层面的对齐效果得到了显著改善。

🎯 应用场景

该研究的潜在应用领域包括个性化推荐系统、智能助手和用户行为分析等。通过更好地理解和捕捉用户的主观行为，相关应用能够提供更加精准和个性化的服务，提升用户体验。未来，该方法可能会推动人机交互的进一步发展，促进更加智能的系统设计。

📄 摘要（原文）

A Large Language Model (LLM) offers versatility across domains and tasks, purportedly benefiting users with a wide variety of behaviors and preferences. We question this perception about an LLM when users have inherently subjective behaviors and preferences, as seen in their ubiquitous and idiosyncratic browsing of websites or apps. The sequential behavior logs of pages, thus generated, form something akin to each user's self-constructed "language", albeit without the structure and grammar imbued in natural languages. We ask: (i) Can a small LM represent the "language of browsing" better than a large LM? (ii) Can an LM with a single set of parameters (or, single LM) adequately capture myriad users' heterogeneous, subjective behaviors and preferences? (iii) Can a single LM with high average performance, yield low variance in performance to make alignment good at user level? We introduce clusterwise LM training, HeTLM (Heterogeneity aware Training of Language Model), appropriate for subjective behaviors. We find that (i) a small LM trained using a page-level tokenizer outperforms large pretrained or finetuned LMs; (ii) HeTLM with heterogeneous cluster specific set of parameters outperforms a single LM of the same family, controlling for the number of parameters; and (iii) a higher mean and a lower variance in generation ensues, implying improved alignment.