What Breaks Under Pruning in Smart Homes, and When? Evaluating LLM Degradation Across Architectures and Task Complexity

📄 arXiv: 2609.17515v1 📥 PDF

作者: Congjing Zhang, Vashishtha Patil, Henning Lange, Usman Aleem

分类: cs.CL

发布日期: 2026-09-15

备注: Submitted to EACL Industry Track

💡 一句话要点

系统评估剪枝对智能家居工具调用的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 剪枝技术 智能家居 工具调用 性能评估 深度学习 模型优化

📋 核心要点

  1. 现有方法对剪枝对智能家居工具调用的影响缺乏系统性研究，导致性能下降的机制不明。
  2. 本文通过对四种不同架构的LLM进行剪枝研究，提出了评估剪枝影响的新方法，关注具体的动作组件和任务复杂性。
  3. 实验结果显示，密集模型在剪枝后性能迅速下降，而MoE模型表现出更强的剪枝容忍度，强调了剪枝评估的多维度重要性。

📝 摘要（中文）

剪枝可以降低大语言模型（LLMs）的部署成本，但其对上下文驱动的工具调用的影响尚不清楚。本文系统研究了剪枝引起的智能家居工具调用性能下降，涵盖了四种LLM架构，包括密集型Transformer、密集型混合和专家混合（MoE）架构，以及深度、宽度、混合和专家剪枝方法。经过剪枝后的监督微调（SFT），我们评估了来自三个智能家居数据集的19,500多个实例。结果表明，密集模型的安全剪枝区域较窄，随之而来的是显著的性能下降，而MoE模型则能容忍更多的剪枝。此外，剪枝会在模式级意图之前降低基础特异性，激进的密集剪枝可能导致系统性的过度拒绝。这些发现强调了在选择可靠工具执行的剪枝LLM时，评估剪枝效果超越整体准确率的重要性。

🔬 方法详解

问题定义：本文旨在解决剪枝对智能家居工具调用性能影响的不确定性，现有方法未能深入探讨剪枝引起的具体性能下降机制。

核心思路：通过系统评估不同LLM架构在剪枝后的表现，分析剪枝对工具调用的影响，特别关注动作组件和任务复杂性。

技术框架：研究包括四种LLM架构的剪枝方法，采用后剪枝监督微调（SFT）进行性能评估，分析超过19,500个实例的表现。

关键创新：提出了在剪枝评估中考虑动作组件和任务复杂性的多维度分析方法，填补了现有研究的空白。

关键设计：采用深度、宽度、混合和专家剪枝方法，结合不同LLM架构进行实验，重点分析剪枝后的性能变化和安全剪枝区域。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，密集模型在剪枝后表现出显著的性能下降，而MoE模型则能承受更高比例的剪枝，显示出更强的适应性。具体而言，密集模型的安全剪枝区域较窄，剪枝后性能下降幅度可达30%以上，这一发现为LLM的剪枝策略提供了重要参考。

🎯 应用场景

该研究的潜在应用领域包括智能家居系统、语音助手和其他需要上下文理解的自动化工具。通过优化LLM的剪枝策略，可以在降低计算成本的同时，保持工具调用的可靠性和准确性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Pruning can reduce the deployment cost of large language models (LLMs), but its impact on context-grounded tool calling remains poorly understood. We systematically study pruning-induced degradation in smart-home tool calling across four LLMs spanning dense Transformer, dense hybrid, and mixture-of-experts (MoE) architectures, together with depth, width, hybrid, and expert pruning methods. After post-pruning supervised fine-tuning (SFT), we evaluate more than 19,500 instances from three smart-home datasets. Beyond aggregate task accuracy, we characterize degradation along two dimensions: action components (i.e., operation, device, argument, and value) and task complexity. Our results show that dense models have narrow safe pruning regions followed by sharp degradation, while MoE models tolerate substantially more pruning. Pruning degrades grounded specificity before schema-level intent, and aggressive dense pruning can induce systematic over-refusal. These findings highlight the importance of evaluating pruning beyond aggregate accuracy when selecting pruned LLMs for reliable tool execution.