R-DEIM Net: An Efficient Rationale-Augmented Dual-Expert Interaction Model for Paraphrase Detection

📄 arXiv: 2609.30100v1 📥 PDF

作者: Pushp, Vaibhav Prajapati, Himangshu Sarma

分类: cs.CL, cs.AI

发布日期: 2026-09-24

💡 一句话要点

提出R-DEIM Net以解决同义句检测中的计算与透明性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 同义句检测 双专家架构 可解释性 自然语言处理 深度学习

📋 核心要点

  1. 现有的同义句检测方法在准确性与计算资源之间存在权衡，尤其是大型语言模型的高计算需求。
  2. R-DEIM Net通过双专家架构，结合交互专家和推理专家，旨在实现高效的同义句检测与可解释性推理生成。
  3. 在Quora问题对数据集上，R-DEIM Net达到了90.07%的准确率，展现出与大型模型相当的性能，但参数量显著更少。

📝 摘要（中文）

近年来，同义句检测的进展揭示了一个基本的权衡：大型语言模型虽然能实现高准确率，但计算需求高，而高效的Siamese-BERT变体则在可扩展性上表现良好，但在推理生成的透明性上有所欠缺。本文提出的R-DEIM Net是一个76M参数的双专家架构，旨在探索中等规模模型在同义句检测中是否能实现竞争性的准确率，同时生成可供人类理解的推理。该架构结合了两个专门组件：通过多尺度2D卷积和注意力头捕捉标记级相似性模式的交互专家，以及使用Flan-T5-small解码器生成推理作为辅助监督的推理专家。在Quora问题对数据集上，R-DEIM Net通过10折交叉验证实现了90.07%的准确率和90.16%的F1分数，展现出与强大的基于变换器的基线（如MFAE BERT：90.54%准确率）和最近的大型语言模型方法（LLaMA-70B）相竞争的性能，同时使用了显著更小的参数预算。

🔬 方法详解

问题定义：本文旨在解决同义句检测中大型语言模型计算需求高与透明性不足的问题。现有方法在准确性与计算效率之间存在显著的权衡，导致实际应用中的局限性。

核心思路：R-DEIM Net采用双专家架构，结合交互专家和推理专家，旨在通过中等规模模型实现高准确率，并生成可供人类理解的推理。交互专家负责捕捉标记级相似性，而推理专家则生成推理文本作为辅助监督。

技术框架：R-DEIM Net的整体架构包括两个主要模块：交互专家和推理专家。交互专家使用多尺度2D卷积和注意力机制处理输入，推理专家则利用Flan-T5-small解码器生成推理文本。模型通过提取解码器的隐藏状态作为分类的补充特征。

关键创新：R-DEIM Net的创新在于其双专家架构，特别是通过不重新编码生成文本，而是直接提取和池化解码器隐藏状态，提供了更高效的特征利用方式。这一设计使得模型在保持较小参数量的同时，仍能实现与大型模型相当的性能。

关键设计：模型的参数设置为76M，采用10折交叉验证进行评估。损失函数设计为适应分类任务，同时推理专家的输出作为辅助监督，增强了模型的可解释性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

R-DEIM Net在Quora问题对数据集上实现了90.07%的准确率和90.16%的F1分数，表现出与大型模型（如MFAE BERT：90.54%准确率）相当的竞争力，且参数量显著减少，展示了其高效性与实用性。

🎯 应用场景

R-DEIM Net在同义句检测领域具有广泛的应用潜力，尤其是在需要高效且可解释的文本处理任务中，如问答系统、信息检索和内容推荐等。其生成的可读推理为用户提供了更好的理解和信任基础，未来可扩展至更多自然语言处理任务。

📄 摘要（原文）

Recent advances in paraphrase detection reveal a fundamental trade-off: large language models achieve high accuracy but require high computation, while efficient Siamese-BERT variants offer practical scalability with reduced transparency in rationale generation. We present R-DEIM Net, a 76M-parameter dual-expert architecture exploring whether moderate-scale models can achieve competitive accuracy on paraphrase detection while enabling human-readable rationale generation. The architecture combines two specialized components: an Interaction Expert that captures token-level similarity patterns through multi-scale 2D convolutions and attention head allowing variable input length, and a Reasoning Expert that uses a Flan-T5-small decoder to generate rationales as auxiliary supervision. Rather than re-encoding generated text, we extract and pool decoder hidden states as complementary features for classification. On the Quora Question Pairs dataset, R-DEIM Net achieves 90.07\% accuracy and 90.16\% F1-score via 10-fold cross-validation. This represents competitive performance with strong transformer-based baselines (e.g., MFAE BERT: 90.54\% accuracy) and recent large language model based approaches (LLaMA-70B) while using a substantially smaller parameter budget. The model generates rationales alongside predictions, providing potential for auxiliary human-readable descriptions.