Structured Data Extraction from Real Estate Documents using Clustering, Classification, and Large Language Models
作者: Muhammad Assad Shehbaz, Carlos Francisco Moreno-García
分类: cs.CV
发布日期: 2026-07-07
💡 一句话要点
提出基于聚类、分类和大语言模型的房地产文档结构化数据提取方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 结构化数据提取 房地产文档 大语言模型 文档分类 聚类分析 数据验证 机器学习
📋 核心要点
- 现有方法无法有效处理异构的房地产问卷文档，尤其是扫描件和复杂布局的文档。
- 论文提出了一种端到端的管道，通过分类和大语言模型提取结构化数据，解决了文档处理的挑战。
- 实验结果显示，提取的物业记录具有较高的数据质量，Jaccard一致性得分为0.82，聚类效果良好。
📝 摘要（中文）
房地产物业列表通过API暴露结构化元数据，但最丰富的物业级信息（如法律状态、结构状况、公共设施、供暖系统）通常存在于附加的问卷文档中，这些文档目前没有自动化系统能够大规模处理。本文提出了一种端到端的管道，用于获取、分类和提取可选文本文档中的结构化数据。该管道应用于从一个实时物业平台收集的3965份问卷文档，成功处理了2781份文档，生成了2766条独特的物业记录，验证了数据质量。
🔬 方法详解
问题定义：本文旨在解决现有自动化系统无法大规模处理异构房地产问卷文档的问题，尤其是扫描和复杂布局文档的结构化数据提取痛点。
核心思路：通过构建一个端到端的处理管道，首先对文档进行分类，然后利用大语言模型提取结构化数据，从而实现高效的数据处理。
技术框架：整体架构包括文档分类模块（将文档分为文本、扫描和特殊字符三类）、数据提取模块（使用DeepSeek R1模型提取35个预定义属性）以及数据验证模块（确保提取数据的质量）。
关键创新：最重要的创新在于结合了文档分类和大语言模型的提取能力，使得对异构文档的处理变得可行且可靠，突破了传统文本提取方法的局限。
关键设计：在数据提取过程中，使用DeepSeek R1模型生成结构化JSON对象，确保提取的属性符合预定义标准，且通过下游验证确保数据质量。实验中采用了余弦相似度匹配和K-Means聚类来评估数据一致性和市场细分效果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，2781份提交的文档中成功处理了2766份，生成了高质量的物业记录。Jaccard一致性得分为0.82，表明提取数据的可靠性，而K-Means聚类的轮廓系数为0.2088，显示出良好的市场细分效果，验证了方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括房地产行业的数据分析、市场研究和智能决策支持。通过自动化提取结构化数据，可以显著提高信息处理效率，降低人工成本，并为后续的市场分析和客户服务提供更为精准的数据支持。未来，该方法还可扩展至其他领域的文档处理与数据提取。
📄 摘要（原文）
Real estate property listings expose structured metadata through the API. Still, the richest property-level information (i.e., legal status, structural condition, utility supplies, heating systems) sits in attached questionnaire documents that no automated system currently processes at scale. These documents are heterogeneous. Some are digitally generated with selectable text, others are scanned physical forms. There are even more complex layouts that contain checkbox annotations that defeat conventional text extraction. In this paper, we present an end-to-end pipeline for acquiring, classifying, and extracting structured data from selectable text documents. The pipeline was applied to 3965 questionnaire documents collected from a live property platform via reverse-engineered REST APIs. First, we classified each document into one of three structural categories (text_only, scanned, and special_char), then extracted 35 predefined property attributes from eligible documents using DeepSeek R1 as the Large Language Model, prompted to return a structured JSON object. All 2781 submitted documents were processed successfully, producing a final dataset of 2766 unique property records. Downstream validation confirmed the data quality. Cosine similarity matching achieves a Jaccard consistency score of 0.82, and K-Means clustering produces interpretable market segments with a silhouette score of 0.2088. Results show that the proposed extraction from each property document is both feasible and reliable at this scale.