Where Do LLMs Learn to Recommend AI?
作者: Benaya Trabelsi, Jonathan Shaki, Sarit Kraus
分类: cs.CL, cs.AI, cs.CY, cs.LG
发布日期: 2026-10-21
备注: 18 pages, 4 figures. Companion paper to arXiv:2601.13749
💡 一句话要点
探讨大型语言模型推荐AI的来源及影响因素
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 推荐系统 人工智能 微调 数据选择 提问方式 学习机制
📋 核心要点
- 现有大型语言模型在推荐AI相关选项时存在不一致性，缺乏对推荐来源的深入理解。
- 通过比较微调前后的模型表现，分析不同提问方式对推荐结果的影响，揭示模型学习的机制。
- 实验结果显示，预训练模型和微调模型在推荐AI相关内容的比例上存在显著差异，且提问方式对结果有重要影响。
📝 摘要（中文）
在面对学习、职业选择或产品开发等问题时，大型语言模型（LLMs）常常推荐与人工智能相关的选项。本文通过比较模型在微调前后的表现，以及不同提问方式的影响，探讨这种倾向的来源。研究发现，预训练模型在27%的回答中包含明确的AI/ML术语，而经过指令微调的版本则增加到59%。此外，微调模型的实验表明，去除与AI相关的指令示例会使推荐比例下降14个百分点，而奖励有用性的数据则提高了9个百分点。最后，提问方式的不同也显著影响推荐结果，询问“最佳”选项或“现在”该做什么分别提高了8和18个百分点。整体来看，这种倾向源于预训练阶段，模型后续学习的内容和提问方式共同决定了推荐的强度。
🔬 方法详解
问题定义：本文旨在探讨大型语言模型在推荐AI相关选项时的倾向来源，现有方法未能充分解释模型推荐的机制和影响因素。
核心思路：通过比较预训练模型与微调模型的表现，以及不同提问方式的影响，分析模型学习的内容和提问方式如何共同决定推荐结果。
技术框架：研究分为几个阶段：首先分析预训练模型的推荐比例，然后进行微调实验，最后通过不同提问方式测试模型的响应变化。主要模块包括模型预训练、指令微调和提问方式设计。
关键创新：本文的创新在于系统性地分析了模型在预训练和微调阶段的推荐行为，揭示了提问方式对推荐结果的显著影响，这在现有研究中较为少见。
关键设计：在微调过程中，去除与AI相关的指令示例显著降低了推荐比例，而奖励有用性的数据则提高了推荐比例，展示了数据选择对模型学习的关键影响。
📊 实验亮点
实验结果显示，预训练模型在27%的回答中包含AI/ML术语，经过指令微调后这一比例上升至59%。去除与AI相关的指令示例使推荐比例下降14个百分点，而奖励有用性的数据则提高了9个百分点，显示出提问方式和数据选择对模型推荐的显著影响。
🎯 应用场景
该研究的结果对教育、职业规划和产品开发等领域具有重要的应用价值。通过理解大型语言模型的推荐机制，可以更好地设计相关系统，以提供更精准的建议和指导，帮助用户做出更明智的决策。
📄 摘要（原文）
Asked what to study, which career to pursue, or what product to build, large language models (LLMs) often recommend AI-related options. We ask where this tendency comes from by comparing models before and after fine-tuning and by varying how questions are asked. First, pretrained models already include explicit AI/ML terms in the recommendations of 27% of their responses, and their released instruction-tuned versions do so in 59%. Second, fine-tuning models ourselves shows that this rise is not inevitable: general instruction tuning leaves the rate unchanged, but removing the 7% of instruction examples that concern AI cuts it by 14 percentage points, below the level of the pretrained models it starts from. Data rewarding helpfulness raise it by 9 points, while data ranked by the preferences of diverse simulated users lower it by 9. Finally, with models held fixed, asking for the "best" option or for what to do "right now" raises the rate by 8 and 18 points, whereas telling the model it is an AI advisor adds 4. Overall, the tendency starts in pretraining, and what models learn afterward, together with how a question is phrased, decides how strongly it appears.