DIAL: Steerable Language Models with Distilled Instruction-Adherence Levels
作者: Thanh Q. Tran, John Russell Himawan, Arun Verma, Kiwan Wong, Wei Xiao, Daniela Rus, Bryan Kian Hsiang Low
分类: cs.AI, cs.LG
发布日期: 2026-10-22
备注: This paper introduces DIAL, a framework for fine-grained, efficient, and scalable control of LLM instruction adherence
💡 一句话要点
提出DIAL以实现可控的语言模型指令遵循
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 可调节语言模型 指令遵循 蒸馏训练 无分类器引导 轻量级适配器 文本条件分类器 人机交互 智能助手
📋 核心要点
- 现有方法在指令遵循的细粒度控制、效率和可扩展性方面存在不足，无法满足用户的多样化需求。
- DIAL通过无分类器引导和轻量级引导适配器，实现了对指令遵循的细粒度控制，同时保持响应的一致性。
- 在多个语言模型上评估结果显示，DIAL在概念表达和响应流畅性方面取得了显著提升，概念得分随着遵循水平的提高而单调增加。
📝 摘要（中文）
当用户要求“简洁”时，语言模型的响应应有多简洁？用户和应用需要不同程度的指令遵循，但现有提示方法无法提供细粒度控制。为此，本文研究了可调节的语言模型，提出DIAL（蒸馏指令遵循水平），实现了对指令遵循的细粒度数值控制、效率和可扩展性。通过无分类器引导（CFG）和轻量级的引导适配器，DIAL在多个语言模型家族中表现出竞争力，概念表达与响应流畅性之间取得了良好平衡。
🔬 方法详解
问题定义：本文旨在解决用户对语言模型指令遵循的细粒度控制问题。现有方法无法有效地在不同指令之间提供一致的遵循程度，导致响应质量不稳定。
核心思路：DIAL通过无分类器引导（CFG）与冻结的语言模型结合，提供不同指令遵循水平的训练信号，从而实现细粒度控制。设计轻量级的引导适配器，利用分类器对语言模型的隐藏状态进行处理，以计算闭式引导编辑。
技术框架：DIAL的整体架构包括三个主要模块：无分类器引导模块、轻量级引导适配器和文本条件分类器。无分类器引导模块负责生成训练信号，轻量级引导适配器则计算引导编辑，文本条件分类器根据目标遵循水平自适应调整引导幅度。
关键创新：DIAL的核心创新在于同时实现了细粒度控制、效率和可扩展性。与现有方法不同，DIAL允许共享适配器支持新指令，而无需针对每个指令进行单独调整。
关键设计：DIAL的设计包括使用分类器对隐藏状态进行处理，以保持响应的一致性，并通过文本条件化的分类器实现对新指令的适应。训练过程仅需指令和请求文本，显著降低了训练成本。
🖼️ 关键图片
📊 实验亮点
在多个语言模型家族的评估中，DIAL在概念表达和响应流畅性方面表现出色，概念得分随着遵循水平的提高而单调增加，显示出其在指令遵循方面的有效性和灵活性。具体而言，DIAL在训练后能够显著提升可验证指令的遵循能力，提供更为精准的响应。
🎯 应用场景
DIAL的研究成果在多个领域具有广泛的应用潜力，包括智能助手、教育工具和客户服务等。通过提供细粒度的指令遵循控制，DIAL能够更好地满足用户的个性化需求，提高交互的自然性和有效性。未来，DIAL可能推动更智能的对话系统和人机交互技术的发展。
📄 摘要（原文）
When a user says "Keep it short", how short should the LLM's response be? More generally, users and applications require different levels of instruction adherence, but prompting does not reliably provide fine-grained control over them. We therefore study "steerable language models" that provide fine-grained numerical control over the degree to which models follow general instructions specified in text. However, existing approaches do not jointly offer fine-grained control, efficiency, and scalability across diverse instructions. To address this gap, we introduce DIAL (Distilled Instruction-Adherence Levels) to achieve all three properties. For fine-grained control, we perform classifier-free guidance (CFG) with a frozen LLM to provide training signals for on-policy distillation of instruction adherence at different levels. For efficiency, we design a lightweight steering adapter that uses a classifier over the LLM's hidden states to compute a closed-form steering edit. The classifier adaptively sets the steering magnitude at each token based on the target adherence level, while accounting for the geometry of the LLM's hidden states to preserve response coherence. For scalability, the classifier is text-conditioned, allowing a shared adapter to support new instructions without per-instruction fitting, and training requires only instruction and request text. Evaluation across multiple LLM families shows that DIAL achieves a competitive balance between concept expression and response fluency, with concept scores increasing monotonically across adherence levels. We introduce SteerIF, an instruction-only dataset of 98, 625 concept, persona, verifiable, and descriptive instructions. When trained on SteerIF, DIAL provides fine-grained control over personas and, when combined with prompting, improves verifiable instruction following.