FGSS-BO: Feedback-Guided Hypothesis Management for LLM-Based Bayesian Optimization
作者: Hao Chen, Ziyang Ling, Ronald X. Xu, Mingzhai Sun
分类: cs.CL
发布日期: 2026-10-15
备注: 21 pages, 8 figures
💡 一句话要点
提出FGSS-BO以改进LLM引导的贝叶斯优化
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 贝叶斯优化 大语言模型 假设管理 搜索效率 机器学习
📋 核心要点
- 现有的LLM引导贝叶斯优化方法在假设提出和修正上存在隐含性，导致搜索效率低下。
- 本文提出FGSS，通过结构化的假设管理接口，将语言指导与观察证据和参数干预连接，提升搜索效果。
- 在多个实验中，FGSS-BO在样本均值和搜索AUC上均优于LLAMBO基线，展示了其有效性和优势。
📝 摘要（中文）
大语言模型（LLM）引导的贝叶斯优化（BO）利用过去的观察来指导搜索，但提出的方向及其修正可能仍然隐含。本文提出了反馈引导搜索状态（FGSS），这是一个结构化的假设管理接口，将基于语言的指导与观察到的证据、可执行的参数干预和比较支持更新连接起来。LLM反射器提出并修正假设；确定性策展人验证这些假设并维护身份和测试记录。演变状态指导候选构建和优先级。在LLAMBO上实例化的FGSS-BO保留其代理和默认的期望改进选择，并具有有界测试策略。在两个回顾性协议/媒体任务中，FGSS-BO的最终最佳样本均值和搜索AUC均高于匹配的LLAMBO基线和评估的非LLM基线。散文反思和仅EI控制显示出混合组件效果。六个直接训练超参数优化任务显示出任务依赖的迁移，糖尿病SVM表现最强；精确网格和反应控制检查其他设置。FGSS暴露假设、其执行和跨轮修订以供检查，同时支持选定设置中的搜索增益。
🔬 方法详解
问题定义：本文旨在解决现有LLM引导的贝叶斯优化方法中假设提出和修正的隐含性问题，导致搜索效率低下。
核心思路：FGSS通过建立一个结构化的假设管理接口，将语言指导与观察证据、可执行的参数干预和比较支持更新相结合，从而提升搜索的透明性和效率。
技术框架：FGSS-BO的整体架构包括LLM反射器、确定性策展人和演变状态模块。LLM反射器负责提出和修正假设，策展人验证假设并维护记录，演变状态模块则指导候选构建和优先级。
关键创新：FGSS的主要创新在于其结构化的假设管理接口，使得假设的提出、执行和修正过程透明化，与传统方法相比，显著提升了搜索的有效性。
关键设计：在FGSS-BO中，保持了代理和默认的期望改进选择，并引入有界测试策略，确保在不同任务中均能有效运行。
🖼️ 关键图片
📊 实验亮点
在实验中，FGSS-BO在两个回顾性协议/媒体任务中表现出色，最终最佳样本均值和搜索AUC均高于匹配的LLAMBO基线，且在六个超参数优化任务中显示出任务依赖的迁移，特别是在糖尿病SVM任务中表现最强。
🎯 应用场景
该研究的潜在应用领域包括自动化机器学习、优化算法设计和智能决策系统。通过提高贝叶斯优化的透明性和效率，FGSS-BO能够在医疗、金融和工程等多个领域实现更优的决策支持，具有重要的实际价值和未来影响。
📄 摘要（原文）
Large language model (LLM)-guided Bayesian optimization (BO) uses past observations to guide search, but proposed directions and their revision can remain implicit. We propose Feedback-Guided Search State (FGSS), a structured hypothesis-management interface connecting language-based guidance to observed evidence, executable parameter interventions, and comparative support updates. An LLM reflector proposes and revises hypotheses; a deterministic curator validates them and maintains identities and test records. The evolving state guides candidate construction and priorities. Instantiated on LLAMBO, FGSS-BO retains its surrogate and default expected improvement selection, with a bounded testing policy. On two retrospective protocol/media tasks with nearest-neighbor response oracles, it attains higher sample mean final best and search AUC than the matched LLAMBO baseline and evaluated non-LLM baselines. Prose-reflection and EI-only controls show mixed component effects. Six direct-training hyperparameter-optimization tasks show task-dependent transfer, strongest on diabetes SVM; exact-grid and reaction controls examine other settings. FGSS exposes hypotheses, their execution, and cross-round revisions for inspection while supporting search gains in selected settings.