When Do LLMs Help with Feature Selection? A Systematic Empirical Study

📄 arXiv: 2610.28556v1 📥 PDF

作者: Fateme Memar, Dongjie Wang, Arvin Agah

分类: cs.LG, cs.AI

发布日期: 2026-10-20

备注: 8 pages, 6 figures, 2 tables

💡 一句话要点

探讨大型语言模型在特征选择中的有效性与局限性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 特征选择 大型语言模型 机器学习 统计方法 语义信息 回归分析 分类性能

📋 核心要点

  1. 现有方法在特征选择中未能充分利用语义信息，导致性能不足。
  2. 论文通过比较传统方法与LLMs在特征选择中的表现，探讨语义信息的有效性。
  3. 实验结果表明，经典选择器在预测性能上优于7B LLM选择器，且语义信息对回归性能有显著提升。

📝 摘要（中文）

大型语言模型（LLMs）能够利用语义特征名称和汇总统计信息进行表格特征选择，但尚不清楚这些信息在何种情况下相较于传统统计方法能改善子集选择。本文在18个数据集框架内进行研究，比较了五个经典基线、冻结的Qwen2.5-7B和Llama-3.3-70B选择器，以及两个GRPO适应的Qwen2.5-7B模型，分别报告分类ROC-AUC和回归R^2，并使用数据集排名进行跨任务比较。结果表明，经典选择器通常在预测性能上优于测试的7B LLM/RL选择器，尤其是在严格的特征预算下。语义敏感性实验显示，信息丰富的特征名称能提升回归性能，而分类的差异较小且依赖于数据集。

🔬 方法详解

问题定义：本文旨在探讨大型语言模型在特征选择中的有效性，尤其是语义信息对选择性能的影响。现有方法主要依赖传统统计方法，未能充分利用语义特征名称，导致在某些情况下性能不佳。

核心思路：通过在多种数据集上比较传统特征选择方法与LLMs，分析何时语义信息能够提升特征选择的效果。设计上，结合了经典方法与LLMs的优点，评估其在不同任务中的表现。

技术框架：研究采用了18个数据集，分为训练、验证和评估集，比较了五个经典基线和多种LLM选择器。使用ROC-AUC和R^2作为性能指标，进行跨任务比较。

关键创新：最重要的创新在于系统性地评估语义信息对LLMs特征选择的影响，明确了在特定条件下，语义特征名称如何改善模型性能，填补了现有研究的空白。

关键设计：在实验中，设置了严格的特征预算，并采用了语义敏感性实验，比较了信息丰富的特征名称与匿名和随机化特征名称的性能差异，确保了实验的严谨性和可重复性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，经典选择器在预测性能上普遍优于7B LLM选择器，尤其是在特征预算限制下。此外，语义特征名称在回归任务中提升了R^2值，分别提高了0.1964和0.1606，而分类任务的提升较小，仅为0.0159和0.0084，表明语义信息在特定任务中的重要性。

🎯 应用场景

该研究的潜在应用领域包括机器学习模型的特征选择、数据预处理和自动化机器学习。通过优化特征选择过程，可以提高模型的预测性能，降低计算成本，适用于金融、医疗和市场分析等多个行业。未来，研究结果可能推动更智能的特征选择工具的开发，提升数据驱动决策的效率。

📄 摘要（原文）

Large language models (LLMs) can leverage semantic feature names alongside summary statistics for tabular feature selection, yet it remains unclear when such information improves subset selection relative to established statistical methods. We investigate this question within an 18-dataset framework comprising 10 datasets for Group Relative Policy Optimization (GRPO) training, 2 for checkpoint validation, and 6 held-out evaluation datasets. We compare five classical baselines, frozen Qwen2.5-7B and Llama-3.3-70B selectors, and two GRPO-adapted Qwen2.5-7B models, reporting classification ROC-AUC and regression R^2 separately and using dataset-wise ranks for cross-task comparison. Across five seeded evaluation partitions, classical selectors generally achieve higher predictive performance than the tested 7B LLM/RL selectors, including under a pre-specified ~33% feature budget with strict train-only classical fitting, while the 7B selectors retain compact subsets. A cardinality-matched semantic sensitivity experiment shows that, for Zero-shot Qwen-7B, informative feature names improve regression performance over anonymized and shuffled alternatives (+0.1964 and +0.1606 mean R^2), whereas aggregate classification differences are smaller (+0.0159 and +0.0084 ROC-AUC) and dataset-dependent. These results characterize when semantic information benefits LLM-based feature selection and show that classical selectors remain strong baselines for predictive tabular feature selection.