Text-Informed Training Data Filtering for Enhanced Virtual Flow Meter Performance

📄 arXiv: 2610.19860v1 📥 PDF

作者: Kristoffer Hjelmen Nesland, Bjarne Grimstad, Antorweep Chakravorty, Dan Sui

分类: stat.ML, cs.LG

发布日期: 2026-10-14

备注: 19 pages, 5 figures. Accepted at FAIEMA 2026

💡 一句话要点

提出文本信息驱动的数据过滤方法以提升虚拟流量计性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数据过滤 文本信息 多模态学习 虚拟流量计 异常检测 大型语言模型 工业机器学习

📋 核心要点

  1. 现有的数据过滤方法无法有效利用非结构化文本信息，导致训练数据质量低下。
  2. 本文提出了一种结合大型语言模型的文本信息驱动过滤方法，能够同时处理传感器数据和文本数据。
  3. 实验结果显示，该方法在虚拟流量计模型中显著提升了预测准确性，验证了其有效性。

📝 摘要（中文）

在能源、水产养殖和化工等领域，机械模型和数据驱动模型的有效性常常受到低质量训练数据的限制，这会模糊物理规律并降低预测准确性。传统的基于规则的过滤方法无法利用存储在非结构化文本中的上下文信息，如工程师评论和操作日志。本文提出了一种文本信息驱动的数据过滤方法，利用大型语言模型（LLMs）将非结构化操作数据与表格传感器数据相结合。该方法包括两个步骤：首先，通过对两种数据模式进行推理来检测上下文异常；其次，生成二进制掩码以过滤训练数据集。实验表明，该方法在合成油气数据集上显著提高了模型性能，相较于仅使用传感器数据的过滤方法，MAPE从7.1%降低至5.4%。

🔬 方法详解

问题定义：本文旨在解决训练数据质量低下的问题，现有的基于规则的过滤方法无法充分利用非结构化文本信息，导致数据异常未被有效识别。

核心思路：通过结合大型语言模型（LLMs）与传感器数据，利用文本信息提供的上下文来增强异常检测和数据过滤的能力，从而提高模型的预测性能。

技术框架：该方法分为两个主要步骤：第一步是上下文异常检测，综合考虑传感器数据和文本数据；第二步是生成二进制掩码，应用于训练数据集的过滤。

关键创新：最重要的创新在于将非结构化操作知识与传感器数据结合，通过LLMs进行多模态数据处理，从而提升数据质量，区别于传统的单一数据源过滤方法。

关键设计：在模型设计中，采用了特定的损失函数以优化异常检测的准确性，并通过实验验证了文本信息在数据过滤中的重要性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，采用文本信息驱动的过滤方法后，虚拟流量计模型的MAPE从7.1%降低至5.4%，相较于传统的传感器数据过滤方法，性能显著提升，验证了文本信息在数据处理中的重要性。

🎯 应用场景

该研究的潜在应用领域包括能源、化工和水产养殖等行业，能够显著提升工业机器学习应用中的数据质量。通过提供一种可扩展的替代方案，减少人工数据整理的需求，未来可能推动更高效的自动化数据处理和决策支持系统的发展。

📄 摘要（原文）

In sectors such as energy, aquaculture and chemical processing, the effectiveness of both mechanistic and data-driven models is frequently limited by poor-quality training data, which obscures underlying physical laws and degrades predictive accuracy. Such quality issues commonly manifest as anomalies in the dataset, ranging from sensor faults to process upsets and incorrect operator inputs. While traditional rule-based filtering can remove a subset of the anomalies, it is unable to leverage contextual information stored as unstructured text, such as engineer comments and operational logs that explain under what conditions the data was collected. We propose a text-informed data filtering method that leverages large language models (LLMs) to integrate unstructured operational data with tabular sensor data. The method consists of two steps: (1) contextual anomaly detection by reasoning over both data modalities, and (2) generation of a binary mask that is applied to filter the training dataset for model development. To investigate the potential benefit, a steady-state soft-sensor regression model, namely a virtual flow meter that estimates well flow rates, is used as the downstream evaluation target. Experiments on a synthetic oil and gas dataset show improved model performance compared to traditional rule-based filtering. Ablation studies show that textual operator comments can provide filtering-relevant signals beyond sensor data alone, with the multimodal approach reducing downstream MAPE from 7.1% to 5.4% relative to sensor-only filtering. This work demonstrates that integrating unstructured operational knowledge with sensor data through LLMs can improve data quality for industrial machine learning applications, offering a scalable alternative to manual data curation.