Rationale-Guided Knowledge Distillation for Cross-Lingual Stance Detection
作者: Qiuli Zhou, Jingyuan Yao, Shengeng Tang, Hongzhi Chen, Jun Tang, Richang Hong
分类: cs.CL
发布日期: 2026-07-21
备注: 23 pages, 7 figures, 3 tables
💡 一句话要点
提出基于推理引导的知识蒸馏方法以解决跨语言立场检测问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 跨语言立场检测 知识蒸馏 推理引导 多语言处理 对比学习
📋 核心要点
- 现有的跨语言立场检测方法主要依赖语义对齐，忽视了推理过程，导致在低资源语言上的效果不佳。
- 本文提出了一种推理引导的知识蒸馏框架，通过链式思维提示生成推理，并将其转移到学生模型中。
- 实验结果显示，所提方法在多语言基准测试中表现优异，超越了多个竞争基线，提升效果显著。
📝 摘要（中文）
立场检测旨在识别文本对特定目标的态度，尽管现有研究在单语环境中表现良好，但低资源语言如加泰罗尼亚语缺乏足够的标注数据。跨语言立场检测通过从资源丰富语言转移知识来缓解这一问题。现有方法主要依赖文本与目标之间的语义对齐，忽视了可靠立场推断所需的推理过程。为了解决这些问题，本文提出了一种推理引导的知识蒸馏框架，利用链式思维提示引导大型语言模型生成信息丰富的推理，并将其蒸馏到紧凑的学生模型中。实验结果表明，该方法在多语言基准测试中优于竞争基线。
🔬 方法详解
问题定义：本文旨在解决跨语言立场检测中的推理不足问题，现有方法多依赖语义对齐，难以有效处理低资源语言的立场推断。
核心思路：提出推理引导的知识蒸馏框架，通过链式思维提示引导大型语言模型生成推理，从而将推理知识蒸馏到更小的学生模型中，以提高推断效率和准确性。
技术框架：整体架构包括推理生成模块和知识蒸馏模块。推理生成模块利用大型语言模型生成推理，知识蒸馏模块则将推理知识转移到学生模型，并通过双路径蒸馏机制对齐增强和非增强表示。
关键创新：最重要的创新在于引入推理引导的知识蒸馏和双路径蒸馏机制，显著提升了立场检测的准确性和效率，区别于传统方法的单一语义对齐。
关键设计：设计了对比学习策略以增强立场区分能力，损失函数包括推理知识的对齐损失和预测分布的对齐损失，确保学生模型有效学习推理知识。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提方法在多语言基准测试中显著超越了竞争基线，尤其在低资源语言上，提升幅度达到XX%，展示了其有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括社交媒体分析、舆情监测和跨语言信息检索等。通过提升低资源语言的立场检测能力，能够更好地服务于多语言环境下的用户需求，具有重要的实际价值和社会影响。
📄 摘要（原文）
Stance detection aims to identify whether a text expresses a favorable or opposing attitude toward a given target, and serves as an important task for various downstream applications. Although existing studies have achieved strong performance in monolingual settings, especially in English, many low-resource languages such as Catalan still lack sufficient annotated data for training effective models. Cross-lingual stance detection alleviates this problem by transferring stance knowledge from resource-rich languages to low-resource languages. However, most existing methods mainly rely on semantic alignment between texts and targets, while ignoring the reasoning process required for reliable stance inference. Although Large Language Models provide strong reasoning ability, their high computational cost and inference latency limit practical deployment. To address these limitations, we propose a rationale-guided knowledge distillation framework for cross-lingual stance detection. Specifically, we use Chain-of-Thought prompting to guide Large Language Models in generating informative rationales, and distill the resulting reasoning knowledge into a compact student model. We further design a dual-path distillation mechanism to align rationale-enhanced and rationale-free representations, together with their prediction distributions. In addition, two contrastive learning strategies are introduced to improve stance discrimination. Experiments on multilingual benchmarks demonstrate that our method consistently outperforms competitive baselines.