Quantum-Accelerated Neural Imputation with Large Language Models (LLMs)

📄 arXiv: 2507.08255v1 📥 PDF

作者: Hossein Jamali

分类: cs.LG, cs.AI

发布日期: 2025-07-11

💡 一句话要点

Quantum-UnIMP：利用量子加速LLM进行混合数据缺失值填补，显著提升填补精度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 量子机器学习 缺失值填补 大型语言模型 混合类型数据 量子特征图

📋 核心要点

  1. 现有基于LLM的填补方法在处理混合类型数据时，难以捕捉复杂的非线性相关性，导致填补精度受限。
  2. Quantum-UnIMP利用量子电路生成量子特征图，替代传统经典嵌入，从而利用量子特性学习更丰富的数据表示。
  3. 实验结果表明，Quantum-UnIMP在数值特征填补误差和类别特征分类精度上均优于现有方法，提升显著。

📝 摘要（中文）

缺失数据是现实世界数据集中面临的关键挑战，严重降低机器学习模型的性能。大型语言模型（LLM）最近在表格数据填补方面表现出卓越的能力，例如UnIMP等框架。然而，它们对经典嵌入方法的依赖限制了其捕获复杂、非线性相关性的能力，尤其是在包含数值、类别和文本特征的混合类型数据场景中。本文介绍了一种新颖的框架Quantum-UnIMP，它将浅层量子电路集成到基于LLM的填补架构中。我们的核心创新在于用瞬时量子多项式（IQP）电路生成的量子特征图替换传统的经典输入嵌入。这种方法使模型能够利用叠加和纠缠等量子现象，从而学习更丰富、更具表现力的数据表示，并增强复杂缺失模式的恢复。在基准混合类型数据集上的实验表明，与最先进的经典和基于LLM的方法相比，Quantum-UnIMP将数值特征的填补误差降低了高达15.2%（RMSE），并将分类特征的分类精度提高了8.7%（F1-Score）。这些引人注目的结果突显了量子增强表示在复杂数据填补任务中的巨大潜力，即使使用近期的量子硬件。

🔬 方法详解

问题定义：论文旨在解决混合类型数据中缺失值填补的问题。现有基于LLM的填补方法，如UnIMP，依赖于经典嵌入，无法充分捕捉数值、类别和文本等多种类型特征之间复杂的非线性关系，尤其是在数据缺失模式复杂的情况下，填补效果会受到限制。

核心思路：论文的核心思路是利用量子计算的优势，通过量子特征映射来增强LLM对数据的表示能力。具体来说，使用浅层量子电路（IQP电路）生成量子特征图，将经典数据编码到量子态空间，从而利用量子叠加和纠缠等特性，学习到更丰富、更具表达力的特征表示。这种量子增强的表示能够帮助LLM更好地理解数据之间的复杂关系，从而提高填补的准确性。

技术框架：Quantum-UnIMP的整体架构是将IQP量子电路与LLM相结合。首先，对输入数据进行预处理，然后使用IQP电路生成量子特征图，将数据编码到量子态空间。接下来，将量子特征图输入到LLM中进行训练，LLM学习如何利用这些量子增强的特征表示来进行缺失值填补。最后，LLM输出填补后的数据。整个框架的关键在于IQP电路的设计和LLM的训练。

关键创新：该论文最关键的创新点在于使用量子特征图来替代传统的经典嵌入。与经典嵌入相比，量子特征图能够利用量子叠加和纠缠等特性，学习到更丰富、更具表达力的特征表示，从而更好地捕捉数据之间的复杂关系。这是传统基于LLM的填补方法所不具备的。

关键设计：论文使用了瞬时量子多项式（IQP）电路作为量子特征映射的核心。IQP电路是一种易于在近期量子硬件上实现的浅层量子电路。此外，论文还针对混合类型数据设计了特定的数据预处理方法，以确保数据能够有效地编码到量子态空间。在LLM的训练过程中，论文使用了标准的交叉熵损失函数和Adam优化器。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，Quantum-UnIMP在基准混合类型数据集上取得了显著的性能提升。对于数值特征，Quantum-UnIMP的RMSE降低了高达15.2%，表明其填补误差显著降低。对于类别特征，Quantum-UnIMP的F1-Score提高了8.7%，表明其分类精度显著提高。这些结果表明，与最先进的经典和基于LLM的方法相比，Quantum-UnIMP具有明显的优势。

🎯 应用场景

该研究成果可广泛应用于各种包含缺失数据的混合类型数据集，例如医疗健康、金融风控、推荐系统等领域。通过提高数据填补的准确性，可以提升下游机器学习模型的性能，从而改善决策效果，例如更准确的疾病诊断、更可靠的信用评估、更个性化的产品推荐等。未来，随着量子计算技术的不断发展，Quantum-UnIMP有望在更大规模、更复杂的数据集上发挥更大的作用。

📄 摘要（原文）

Missing data presents a critical challenge in real-world datasets, significantly degrading the performance of machine learning models. While Large Language Models (LLMs) have recently demonstrated remarkable capabilities in tabular data imputation, exemplified by frameworks like UnIMP, their reliance on classical embedding methods often limits their ability to capture complex, non-linear correlations, particularly in mixed-type data scenarios encompassing numerical, categorical, and textual features. This paper introduces Quantum-UnIMP, a novel framework that integrates shallow quantum circuits into an LLM-based imputation architecture. Our core innovation lies in replacing conventional classical input embeddings with quantum feature maps generated by an Instantaneous Quantum Polynomial (IQP) circuit. This approach enables the model to leverage quantum phenomena such as superposition and entanglement, thereby learning richer, more expressive representations of data and enhancing the recovery of intricate missingness patterns. Our experiments on benchmark mixed-type datasets demonstrate that Quantum-UnIMP reduces imputation error by up to 15.2% for numerical features (RMSE) and improves classification accuracy by 8.7% for categorical features (F1-Score) compared to state-of-the-art classical and LLM-based methods. These compelling results underscore the profound potential of quantum-enhanced representations for complex data imputation tasks, even with near-term quantum hardware.