KathDB: Explainable Multimodal Database Management System with Human-AI Collaboration

📄 arXiv: 2512.11067v1 📥 PDF

作者: Guorui Xiao, Enhao Zhang, Nicole Sullivan, Will Hansen, Magdalena Balazinska

分类: cs.DB, cs.AI

发布日期: 2025-12-11

💡 一句话要点

提出KathDB，一个支持人机协作的可解释多模态数据库管理系统

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态数据库 人机协作 可解释性 基础模型 数据库管理系统

📋 核心要点

  1. 现有DBMS难以处理多模态数据，且复杂SQL编写困难，限制了其在多模态场景下的应用。
  2. KathDB结合关系语义与基础模型，通过人机交互提供跨模态数据的可解释查询结果。
  3. KathDB旨在提升多模态数据查询的可用性和可解释性，实现人与AI的协同。

📝 摘要（中文）

传统的数据库管理系统（DBMS）基于关系数据执行用户或应用程序提供的SQL查询，具有强大的语义保证和高级查询优化，但编写复杂的SQL语句很困难，并且只关注结构化表格。目前的多模态系统（处理关系数据以及文本、图像甚至视频）要么暴露低级控制，迫使用户在SQL中手动使用（并可能创建）机器学习UDF，要么将执行完全卸载到黑盒LLM，牺牲了可用性或可解释性。我们提出了KathDB，一种新的系统，它将关系语义与基础模型在多模态数据上的推理能力相结合。此外，KathDB在查询解析、执行和结果解释期间包含人机交互通道，以便用户可以迭代地获得跨数据模态的可解释答案。

🔬 方法详解

问题定义：现有数据库管理系统（DBMS）在处理多模态数据时面临挑战。传统的DBMS主要针对结构化关系数据设计，难以有效处理文本、图像、视频等非结构化数据。同时，编写复杂的SQL查询对用户来说是一个难题。现有的多模态系统要么需要用户手动编写机器学习UDF，要么依赖黑盒LLM，导致可用性和可解释性不足。因此，如何设计一个能够有效处理多模态数据，提供可解释查询结果，并降低用户使用门槛的数据库管理系统是一个亟待解决的问题。

核心思路：KathDB的核心思路是将关系数据库的语义与基础模型（Foundation Models）的推理能力相结合。通过利用关系数据库的结构化查询能力和基础模型对非结构化数据的理解能力，KathDB能够处理包含多种数据模态的复杂查询。此外，KathDB还引入了人机交互机制，允许用户在查询解析、执行和结果解释过程中与系统进行交互，从而提高查询结果的可解释性。

技术框架：KathDB的整体架构包含以下几个主要模块：1) 查询解析器：负责将用户输入的查询语句解析成内部表示。2) 查询优化器：对查询进行优化，选择最佳的执行计划。3) 多模态数据访问层：负责从不同的数据源（关系数据库、文本文件、图像文件等）获取数据。4) 基础模型集成层：将基础模型集成到查询执行过程中，用于处理非结构化数据。5) 人机交互模块：提供用户与系统交互的接口，允许用户在查询执行过程中提供反馈和指导。6) 结果解释器：负责生成查询结果的解释，帮助用户理解查询结果的含义。

关键创新：KathDB的关键创新在于将关系语义与基础模型的推理能力相结合，并引入人机交互机制。这种结合使得KathDB能够处理包含多种数据模态的复杂查询，并提供可解释的查询结果。与现有方法相比，KathDB不需要用户手动编写机器学习UDF，也不依赖黑盒LLM，从而提高了可用性和可解释性。

关键设计：KathDB的关键设计包括：1) 如何将基础模型集成到查询执行过程中，例如，可以使用基础模型对文本数据进行情感分析，并将分析结果作为查询条件。2) 如何设计人机交互接口，允许用户在查询执行过程中提供反馈和指导，例如，用户可以纠正基础模型的错误预测。3) 如何生成查询结果的解释，例如，可以使用自然语言生成技术将查询结果的含义解释给用户。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

由于论文尚未提供实验结果，实验亮点未知。但根据论文描述，KathDB旨在提升多模态数据查询的可用性和可解释性，并实现人与AI的协同。未来的实验结果可能会展示KathDB在处理复杂多模态查询方面的性能优势，以及人机交互对提高查询结果质量和可解释性的影响。

🎯 应用场景

KathDB具有广泛的应用前景，例如，可以应用于智能客服、金融风控、医疗诊断等领域。在智能客服领域，KathDB可以帮助客服人员快速找到客户问题的答案，并提供个性化的解决方案。在金融风控领域，KathDB可以帮助风控人员识别潜在的风险，并采取相应的措施。在医疗诊断领域，KathDB可以帮助医生诊断疾病，并制定治疗方案。未来，KathDB有望成为多模态数据管理的重要工具。

📄 摘要（原文）

Traditional DBMSs execute user- or application-provided SQL queries over relational data with strong semantic guarantees and advanced query optimization, but writing complex SQL is hard and focuses only on structured tables. Contemporary multimodal systems (which operate over relations but also text, images, and even videos) either expose low-level controls that force users to use (and possibly create) machine learning UDFs manually within SQL or offload execution entirely to black-box LLMs, sacrificing usability or explainability. We propose KathDB, a new system that combines relational semantics with the reasoning power of foundation models over multimodal data. Furthermore, KathDB includes human-AI interaction channels during query parsing, execution, and result explanation, such that users can iteratively obtain explainable answers across data modalities.