Distill Globally, Adapt Locally: Reasoning Distillation and Product-Type Test-Time Training for Scalable Trade-Up Recommendation

📄 arXiv: 2609.05363v1 📥 PDF

作者: Siliang Liu, Mohammad Ghasemi, Sapan Patel, Amin Banitalebi-Dehkordi

分类: cs.LG

发布日期: 2026-09-04

备注: Accepted at the Third Workshop on Agentic and Generative AI for E-Commerce (GenAIECommerce 2026), co-located with ACM RecSys 2026

💡 一句话要点

提出两级框架以实现高效的产品升级推荐

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 产品推荐 蒸馏训练 测试时训练 机器学习 大规模推理

📋 核心要点

  1. 现有的产品升级推荐方法在处理数以亿计的产品对时效率低下，难以直接应用大型语言模型。
  2. 论文提出的两级框架通过蒸馏推理和产品类型测试时训练，优化了推荐系统的性能和效率。
  3. 实验表明，蒸馏后的学生模型在AUC和平均精度上均有显著提升，且计算速度和成本大幅降低。

📝 摘要（中文）

论文提出了一种两级框架，用于高效地进行产品升级推荐，旨在识别更高质量的替代品，同时保持客户的购买意图。通过将大型语言模型（LLMs）的推理能力蒸馏到一个高效的非生成学生模型，并根据产品类型特定的升级标准调整其决策边界，显著提高了推荐的准确性。实验结果表明，该方法在多个指标上均优于传统方法，且在计算效率上具有显著优势。

🔬 方法详解

问题定义：本研究旨在解决在大规模产品对中进行高效的产品升级推荐问题。现有方法在处理大量产品时效率低下，无法直接应用大型语言模型（LLMs）。

核心思路：论文的核心思路是通过两级框架将LLMs的推理能力蒸馏到一个高效的非生成模型，并根据产品类型特定的标准进行适应性调整，以提高推荐的准确性和效率。

技术框架：整体架构分为两个主要阶段：第一阶段是通过检索增强的少量示例生成结构化关系标签和自然语言推理，第二阶段是进行产品类型测试时训练（PT-TTT），优化轻量级的类别特定适配器。

关键创新：最重要的技术创新在于将LLMs的推理蒸馏到一个小型学生模型中，并通过PT-TTT进一步优化，使得模型在推理时不再依赖LLM调用或文本生成，显著提高了效率。

关键设计：在模型设计中，使用了768维的产品嵌入，采用对齐和对比目标进行训练，损失函数设计上注重于提升分类器的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，蒸馏后的学生模型在固定的人工标注基准上实现了AUC 0.924，相较于仅使用标签的学生模型提升了0.012。此外，通过PT-TTT，AUC进一步提升至0.941，平均精度从0.920提升至0.940，且在计算效率上比直接使用LLM推理快约5000倍，成本低约10000倍。

🎯 应用场景

该研究的潜在应用领域包括电子商务、在线推荐系统和个性化营销等。通过提高产品升级推荐的效率和准确性，能够帮助企业更好地满足客户需求，提升用户体验，并在竞争激烈的市场中获得优势。

📄 摘要（原文）

Trade-up recommendation identifies higher-quality alternatives that preserve a customer's purchase intent while offering upgraded benefits. Large language models (LLMs) can reason about such distinctions, but applying them directly to hundreds of millions of product pairs is operationally impractical. We introduce a two-level framework that distills LLM reasoning into an efficient non-generative student and adapts its decision boundary to product-type-specific trade-up criteria. At Level 1, a retrieval-augmented few-shot LLM teacher generates structured relation labels and natural-language rationales. These rationales supervise a compact embedding-pair classifier through alignment and contrastive objectives; at inference, the student uses only two precomputed 768-dimensional product embeddings, with no LLM calls or text generation. On a fixed human-annotated benchmark of 8,352 pairs, a 15.5M-parameter four-class reasoning-distilled student achieves AUC 0.924 (95% CI [0.918, 0.929]), compared with 0.912 for the four-class label-only student. At Level 2, product-type test-time training (PT-TTT) uses few-shot demonstrations to optimize lightweight category-specific adapters over the frozen student. PT-TTT improves AUC from 0.924 to 0.941 and average precision from 0.920 to 0.940. On a 100K-pair proxy catalog, the distilled student on a single eight-GPU machine is approximately 5,000x faster and 10,000x lower in estimated cost than direct LLM inference.