CoFEE: Reasoning Control for LLM-Based Feature Discovery
作者: Maximilian Westermann, Ben Griffin, Aaron Ontoyin Yin, Zakari Salifu, Yagiz Ihlamur, Kelvin Amoaba, Joseph Ternasky, Fuat Alican, Yigit Ihlamur
分类: cs.AI, cs.CE, cs.LG
发布日期: 2026-04-23
💡 一句话要点
CoFEE：基于LLM的特征发现推理控制框架，提升特征质量与效率
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 特征工程 推理控制 认知行为 非结构化数据
📋 核心要点
- 现有方法在从复杂非结构化数据中进行特征发现时，难以避免泄漏和代理问题，导致特征质量不高。
- CoFEE框架通过在LLM中引入认知行为，如逆向推理和子目标分解，作为结构化的归纳偏置，控制特征生成过程。
- 实验表明，CoFEE生成的特征具有更高的预测性，成功率提升15.2%，同时减少了特征生成数量和成本。
📝 摘要（中文）
本文提出了一种名为CoFEE（认知特征工程引擎）的推理控制框架，旨在改进基于大型语言模型（LLM）的特征发现过程。特征发现本质上是一个推理问题，需要识别具有预测性的抽象概念，同时避免泄漏、代理和结果后信号。CoFEE通过在LLM推理过程中引入认知行为，例如从结果向后推理、子目标分解、针对可观察性和泄漏标准的验证以及显式回溯被拒绝的推理路径，来控制LLM的推理过程。实验结果表明，与无约束的LLM提示相比，强制执行认知行为可以产生具有更高经验可预测性的特征。CoFEE的成功率平均提高了15.2%，同时生成的特征减少了29%，成本降低了53.3%。此外，通过held-out特征评估，验证了认知诱导特征的泛化能力，表明推理控制可以提高基于LLM的特征发现的质量和效率。
🔬 方法详解
问题定义：论文旨在解决从复杂非结构化数据中进行有效特征发现的问题。现有方法，特别是直接使用大型语言模型（LLM）进行特征生成时，容易产生质量较差的特征，例如包含数据泄露、代理变量或结果后信号的特征。这些问题导致特征的泛化能力差，难以在实际应用中取得良好效果。
核心思路：论文的核心思路是通过对LLM的推理过程进行控制，引入认知行为作为结构化的归纳偏置，从而引导LLM生成更具预测性和泛化能力的特征。这种方法借鉴了机器学习中利用认知行为来提升模型性能的思想，通过约束LLM的搜索空间，避免生成无效或有害的特征。
技术框架：CoFEE框架包含以下主要模块：1) 认知行为诱导：通过特定的提示工程，引导LLM执行特定的认知行为，例如从目标结果向后推理，将复杂问题分解为子目标，并验证生成的特征是否符合可观察性和避免泄露的标准。2) 推理路径管理：显式地跟踪和管理LLM的推理路径，允许回溯被拒绝的推理路径，并探索替代方案。3) 特征评估与选择：使用held-out数据集评估生成的特征的预测性能，并选择最佳特征。
关键创新：论文的关键创新在于将认知行为引入到LLM的特征发现过程中，并将其作为一个结构化的推理控制框架。与传统的无约束LLM提示相比，CoFEE能够更有效地引导LLM生成高质量的特征。此外，CoFEE还提供了一种系统化的方法来评估和选择生成的特征，从而进一步提高特征发现的效率和效果。
关键设计：CoFEE的关键设计包括：1) 认知行为提示模板：设计特定的提示模板，以诱导LLM执行不同的认知行为。这些模板需要精心设计，以确保LLM能够理解并有效地执行这些行为。2) 推理路径跟踪机制：实现一种机制来跟踪和管理LLM的推理路径，以便能够回溯被拒绝的路径并探索替代方案。3) 特征评估指标：选择合适的特征评估指标，以衡量生成的特征的预测性能和泛化能力。例如，可以使用AUC、F1-score等指标来评估特征的预测性能，并使用held-out数据集来评估特征的泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CoFEE框架在特征发现任务中取得了显著的性能提升。与无约束的LLM提示相比，CoFEE的成功率平均提高了15.2%，同时生成的特征数量减少了29%，成本降低了53.3%。此外，通过held-out特征评估，验证了CoFEE生成的特征具有更好的泛化能力，表明推理控制可以有效地提高基于LLM的特征发现的质量和效率。
🎯 应用场景
CoFEE框架可应用于各种需要从复杂非结构化数据中进行特征发现的领域，例如金融风控、医疗诊断、欺诈检测等。通过自动生成高质量的特征，CoFEE可以帮助领域专家更有效地构建预测模型，从而提高决策的准确性和效率。未来，CoFEE还可以与其他机器学习技术相结合，例如自动机器学习（AutoML），以实现更全面的自动化建模流程。
📄 摘要（原文）
Feature discovery from complex unstructured data is fundamentally a reasoning problem: it requires identifying abstractions that are predictive of a target outcome while avoiding leakage, proxies, and post-outcome signals. With the introduction of ever-improving Large Language Models (LLMs), our method provides a structured method for addressing this challenge. LLMs are well suited for this task by being able to process large amounts of information, but unconstrained feature generation can lead to weak features. In this work, we study reasoning control in LLMs by inducing cognitive behaviors for improving feature discovery. We introduce CoFEE (Cognitive Feature Engineering Engine), a reasoning control framework that enforces cognitive behaviors in how the LLM reasons during feature discovery. From a machine learning perspective, these cognitive behaviors act as structured inductive biases over the space of candidate features generated by the model. These behaviors have been exploited with success in ML models, and include backward chaining from outcomes, subgoal decomposition, verification against observability and leakage criteria, and explicit backtracking of rejected reasoning paths. In a controlled comparison, we show that enforcing cognitive behaviors yields features with higher empirical predictability than those under unconstrained vanilla LLM prompts. CoFEE achieves an average Success Rate Score that is 15.2% higher than the vanilla approach, while generating 29% fewer features and reducing costs by 53.3%. Using held-out feature evaluation, we assess whether cognitively induced features generalize beyond the data used for discovery. Our results indicate that, in our evaluated setting, reasoning control is associated with improvements in quality and efficiency of LLM-based feature discovery.