Rethinking Data Quality for AI-Driven Systems: Evidence from Practitioner Interviews
作者: Hariharan Gopinath, Jan Bosch, Helena Holmström Olsson
分类: cs.SE, cs.AI
发布日期: 2026-09-25
备注: This is a preprint version and the final version will appear in the proceedings of PROFES 2026
💡 一句话要点
提出数据质量管理框架以应对AI驱动系统中的信任问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 数据质量 AI系统 生命周期保障 合法性 代表性 信任问题 从业者访谈
📋 核心要点
- 核心问题：现有的数据质量研究多将数据视为输入，缺乏对AI系统中数据质量管理的综合理解。
- 方法要点：通过访谈从业者，提炼出六个主题，探讨数据质量在AI驱动系统中的新定义与管理方式。
- 实验或效果：研究揭示了数据追溯性、合法性和代表性等新问题，提出了生命周期保障的概念框架。
📝 摘要（中文）
数据质量研究通常将数据视为输入，进行存储、处理和验证。然而，在AI驱动的软件密集型系统中，数据不仅影响模型行为、评估和合法使用。关于从业者如何定义、评估和管理数据质量的实证证据仍然有限。本文通过对16位来自9个组织的从业者进行访谈，采用反思性主题分析法，提炼出六个主题。研究表明，在AI系统中，追溯性从模块调试转向模型行为归因，而将模型作为质量评估者引入了循环性。代理上下文和记忆成为数据对象，合成和伪标记数据使真实性成为质量关注点。基础模型开发中，合法性成为训练数据的门槛，而代表性通过系统必须安全行为的情况覆盖进行评估。本文为从业者提供了一个关于如何将这些问题作为工程和组织关注点共同面对的实证基础。
🔬 方法详解
问题定义：论文要解决的问题是如何在AI驱动系统中有效管理数据质量。现有方法往往将数据视为静态输入，未能考虑其在模型行为和评估中的动态影响，导致信任度降低。
核心思路：论文的核心思路是通过从业者访谈，深入理解数据质量在AI系统中的多维度影响，提出生命周期保障的概念框架，以确保数据支持特定的AI声明。
技术框架：研究采用反思性主题分析法，分析访谈记录，提炼出六个主题，涵盖数据追溯性、合法性、代表性等方面，形成一个综合的质量管理框架。
关键创新：最重要的技术创新点在于将数据质量管理从传统的输入处理扩展到模型行为和组织层面的综合考虑，强调数据在AI系统中的动态角色。
关键设计：研究中没有具体的参数设置或网络结构，但通过对从业者的访谈，识别出影响数据质量的关键因素，如数据的合成性、合法性和代表性等。具体的设计细节仍需在后续研究中进一步探讨。
🖼️ 关键图片
📊 实验亮点
研究通过对16位从业者的访谈，揭示了数据追溯性、合法性和代表性等新问题，强调了数据质量管理的复杂性。提出的生命周期保障框架为AI系统的数据质量提供了新的视角，促进了对数据和AI结果信任的提升。
🎯 应用场景
该研究的潜在应用领域包括AI系统的开发、数据治理和质量管理等。通过提供一个综合的数据质量管理框架，能够帮助组织在AI驱动的环境中提升数据的可信度和使用效率，进而增强用户对AI结果的信任。
📄 摘要（原文）
Data quality research has usually treated data as an input that is stored, processed, and validated. In AI-driven software-intensive systems, data also shapes model behavior, evaluation, and lawful use. Empirical evidence remains limited on how practitioners define, assess, and manage quality under these conditions. We interviewed 16 practitioners from nine organizations and analyzed the transcripts using reflexive thematic analysis and developed six themes from participants' accounts. In AI systems, traceability shifted from modular debugging to attributing model behavior, while using models as quality assessors introduced circularity. Agent context and memory became data objects, and synthetic and pseudo-labeled data made authenticity a quality concern. In foundation-model development, lawfulness became a gate for training data, while representativeness was judged through coverage of situations in which the system must behave safely. Prior ML research examines many of these problems separately. Our study provides a practitioner-grounded account of how they are encountered together as an engineering and organizational concern. We also interpret five recurring conditions as helping explain how the themes relate to reduced trust in data and AI outcomes. We synthesize these findings through lifecycle assurance: a conceptual framing focused on producing evidence that data can support a specific AI claim when its influence may be embedded in model behavior, model-based judgments, or agent actions.