A Large-Scale Evaluation of Role-Enhanced Zero-Shot Chain-of-Thought Prompting

📄 arXiv: 2610.29073v1 📥 PDF

作者: Ibrahim Khan, Thai Van Nguyen, Yi Xia, Pratch Suntichaikul, Mustafa Can Gursesli, Daniel Fernandez Galeote, Juho Hamari, Ruck Thawonmas

分类: cs.CL, cs.AI

发布日期: 2026-10-21

💡 一句话要点

提出角色增强的零-shot思维链提示框架以提升推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零-shot学习 推理能力 角色增强 大型语言模型 思维链提示 自适应任务对齐 领域专家角色

📋 核心要点

  1. 现有的零-shot推理方法在特定任务上缺乏有效的角色对齐，导致推理性能不佳。
  2. 提出的RE-ZS-CoT框架通过整合领域专家角色，提升了大型语言模型的推理能力，且无需任务特定示例。
  3. 实验表明，RE-ZS-CoT在多个基准测试中表现优异，静态和动态角色选择均显著提高了模型的推理性能。

📝 摘要（中文）

本文提出了一种角色增强的零-shot思维链提示框架（RE-ZS-CoT），该框架系统性地整合了领域特定的专家角色，以增强大型语言模型（LLMs）的推理能力，而无需任务特定的示例。我们评估了两种版本的方法：静态角色选择和动态角色选择。在静态角色选择中，我们评估了八个预定义的专家角色在算术、常识和阅读理解基准上的影响。在动态角色选择中，每个模型自主选择最适合的角色，实现了自适应的任务角色对齐。实验结果显示，RE-ZS-CoT在20个LLMs和七个基准上频繁超越零-shot和零-shot-CoT基线，性能提升可达44个百分点。

🔬 方法详解

问题定义：本文旨在解决现有零-shot推理方法在任务角色对齐方面的不足，导致推理性能不理想。

核心思路：RE-ZS-CoT框架通过引入领域特定的专家角色，增强了大型语言模型的推理能力，允许模型在没有任务特定示例的情况下进行有效推理。

技术框架：该框架包括两个主要模块：静态角色选择和动态角色选择。静态选择使用预定义的角色，而动态选择则允许模型根据任务自动选择最合适的角色。

关键创新：RE-ZS-CoT的创新在于将角色专业化与思维链推理相结合，显著提升了零-shot提示的效果，区别于传统方法的单一角色使用。

关键设计：在实验中，使用了八个预定义的专家角色，并通过消融研究验证了角色选择对推理性能的影响，确保了任务与角色的有效对齐。实验还表明，非传统角色的使用会降低性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，RE-ZS-CoT在20个大型语言模型和七个基准测试中表现优异，性能提升可达44个百分点。静态角色选择在某些基准上达到最佳性能，而动态角色选择则展示了良好的自适应能力，表明两者之间存在强关联。

🎯 应用场景

该研究的潜在应用领域包括教育、智能问答系统和自动化客服等。通过提升大型语言模型的推理能力，RE-ZS-CoT能够在多种任务中提供更准确和高效的解决方案，具有重要的实际价值和未来影响。

📄 摘要（原文）

This paper proposes Role-Enhanced Zero-Shot Chain-of-Thought (RE-ZS-CoT), a prompting framework that systematically integrates domain-specific expert roles to enhance reasoning in large language models (LLMs) without task-specific examples. We assess two versions of our approach. In the first version, static role selection, we evaluate eight predefined expert roles across arithmetic, commonsense, and reading comprehension benchmarks to determine their impact on reasoning performance. In the second version, dynamic role selection, each model autonomously selects the single most suitable role for each benchmark, enabling adaptive task-role alignment without manual specification. Across 20 LLMs and seven benchmarks, RE-ZS-CoT frequently surpasses zero-shot and zero-shot-CoT baselines, achieving performance improvements of up to 44 percentage points. The results reveal a strong correspondence between static and dynamic versions; the benchmarks where static roles yielded improvements were almost always those where dynamic roles also outperformed baselines, though static selection achieved peak performance. Ablation studies further show that unconventional roles degrade performance, underscoring the necessity of task-role alignment. The framework's scalability is validated across model sizes (2b-14b parameters), with smaller models like Granite3.3-8b achieving remarkable proficiency in arithmetic reasoning. RE-ZS-CoT advances zero-shot prompting by unifying role specialization with chain-of-thought reasoning, offering a practical, resource-efficient solution for improving LLM capabilities across diverse domains.