Harnessing Chain-of-Thought Metadata for Task Routing and Adversarial Prompt Detection

📄 arXiv: 2503.21464v1 📥 PDF

作者: Ryan Marinelli, Josef Pichlmeier, Tamas Bisztray

分类: cs.CL, cs.AI, cs.PF

发布日期: 2025-03-27

🔗 代码/项目: GITHUB

💡 一句话要点

提出NofT指标，用于任务路由和对抗性提示检测，提升LLM效率与安全性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 任务路由 对抗性提示检测 思维链 模型蒸馏

📋 核心要点

  1. 现有方法难以有效评估任务难度，导致LLM在生产环境中效率低下。
  2. 提出NofT指标，通过量化思维过程来评估任务难度，从而实现更智能的任务路由。
  3. 实验表明，NofT能有效降低延迟，并高精度检测对抗性提示，提升LLM安全性。

📝 摘要（中文）

本文提出了一种名为“思维数量”（Number of Thoughts, NofT）的指标，用于预先判断任务难度，并支持大型语言模型（LLM）在生产环境中的应用。通过设置基于思维数量的阈值，该指标能够区分提示的难度，从而实现更有效的提示路由。在MathInstruct数据集上，使用17亿、70亿和140亿参数的Deepseek量化蒸馏版本进行提示路由时，延迟降低了2%。此外，该指标还能高效地检测提示注入攻击中使用的对抗性提示。思维数量可以用于训练一个分类器，在对抗性提示检测中达到95%的准确率。我们的实验和数据集可在GitHub页面上找到：https://github.com/rymarinelli/Number_Of_Thoughts/tree/main。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在实际应用中，如何根据任务难度进行有效路由，以及如何检测对抗性提示攻击的问题。现有方法缺乏一种简单有效的指标来衡量任务难度，导致资源分配不合理，且容易受到恶意攻击。

核心思路：论文的核心思路是提出“思维数量”（NofT）这一指标，认为解决一个问题所需的“思维步骤”越多，任务难度越高。通过分析LLM生成答案时的中间步骤数量，可以量化任务难度，并以此指导任务路由和对抗性提示检测。

技术框架：整体框架包含两个主要应用场景：任务路由和对抗性提示检测。对于任务路由，首先计算不同任务的NofT值，然后根据NofT值将任务分配给不同规模的模型（例如，小型模型处理简单任务，大型模型处理复杂任务）。对于对抗性提示检测，使用NofT值作为特征训练分类器，区分正常提示和恶意提示。

关键创新：最重要的创新点在于提出了NofT指标，将LLM的推理过程量化为“思维步骤”的数量。与传统的基于token数量或困惑度的难度评估方法相比，NofT更直接地反映了任务的复杂性，并且易于计算和应用。

关键设计：NofT的计算方法是统计LLM在生成答案过程中产生的中间步骤数量。具体实现中，可以通过分析LLM的输出日志或使用特定的prompting技术（如Chain-of-Thought prompting）来获取中间步骤。在任务路由中，需要设置NofT的阈值，以确定任务应该分配给哪个模型。在对抗性提示检测中，可以使用NofT值以及其他特征（如提示的长度、关键词等）来训练分类器，例如逻辑回归或支持向量机。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，使用NofT进行任务路由，在MathInstruct数据集上，使用17亿、70亿和140亿参数的Deepseek量化蒸馏版本时，延迟降低了2%。此外，基于NofT的分类器在对抗性提示检测中达到了95%的准确率，显著优于其他基线方法，证明了NofT在提升LLM效率和安全性方面的有效性。

🎯 应用场景

该研究成果可广泛应用于各种LLM驱动的应用场景，例如智能客服、教育辅导、代码生成等。通过NofT指标，可以实现更高效的任务调度，降低计算成本，并提高系统的安全性，有效防御提示注入攻击。未来，NofT还可以用于自适应学习，根据用户的掌握程度调整任务难度。

📄 摘要（原文）

In this work, we propose a metric called Number of Thoughts (NofT) to determine the difficulty of tasks pre-prompting and support Large Language Models (LLMs) in production contexts. By setting thresholds based on the number of thoughts, this metric can discern the difficulty of prompts and support more effective prompt routing. A 2% decrease in latency is achieved when routing prompts from the MathInstruct dataset through quantized, distilled versions of Deepseek with 1.7 billion, 7 billion, and 14 billion parameters. Moreover, this metric can be used to detect adversarial prompts used in prompt injection attacks with high efficacy. The Number of Thoughts can inform a classifier that achieves 95% accuracy in adversarial prompt detection. Our experiments ad datasets used are available on our GitHub page: https://github.com/rymarinelli/Number_Of_Thoughts/tree/main.