"What's important here?": Opportunities and Challenges of Using LLMs in Retrieving Information from Web Interfaces

📄 arXiv: 2312.06147v1 📥 PDF

作者: Faria Huq, Jeffrey P. Bigham, Nikolas Martelaro

分类: cs.CL, cs.IR

发布日期: 2023-12-11

备注: Accepted to NeurIPS 2023 R0-FoMo Workshop

💡 一句话要点

利用LLM从Web界面检索信息：机遇与挑战分析

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 Web信息检索 用户界面 HTML理解 语义理解

📋 核心要点

  1. 现有Web导航方法通常关注自主操作，忽略了LLM在理解网页结构和识别关键信息方面的潜力。
  2. 该研究将Web信息检索分解为更基础的任务：判断网页中哪些元素对于用户查询是重要的。
  3. 实验结果表明，LLM在识别重要UI元素方面具有一定能力，但仍存在显著的改进空间。

📝 摘要（中文）

大型语言模型（LLM）在包含大量代码的语料库上训练后，展现出理解HTML代码的卓越能力。由于Web界面主要使用HTML构建，我们设计了一项深入研究，旨在探索如何利用LLM在Web界面中检索和定位用户给定查询（即任务描述）的重要元素。与以往主要关注自主Web导航的工作不同，我们将问题分解为一个更基础的操作——LLM能否识别Web页面中对于用户给定查询的重要信息？这种分解使我们能够仔细审查LLM的当前能力，并揭示它们所带来的机遇和挑战。我们的实证实验表明，虽然LLM在检索重要UI元素方面表现出合理的性能水平，但仍有很大的改进空间。我们希望我们的研究能够激发后续工作，以克服该领域当前的挑战。

🔬 方法详解

问题定义：论文旨在研究如何利用大型语言模型（LLM）从Web界面中检索与用户查询相关的重要信息。现有方法主要集中在自主Web导航上，而忽略了LLM在理解网页结构和识别关键信息方面的潜力。因此，现有方法无法充分利用LLM的语义理解能力来辅助用户快速定位所需信息。

核心思路：论文的核心思路是将Web信息检索问题分解为一个更基础的任务：判断网页中哪些元素对于用户查询是重要的。通过关注LLM对网页元素重要性的判断能力，可以更直接地评估LLM在Web信息检索中的潜力，并为后续的自主Web导航研究提供基础。

技术框架：该研究主要通过实证实验来评估LLM在识别重要UI元素方面的能力。具体流程包括：1) 给定一个Web页面和一个用户查询；2) 使用LLM对Web页面中的各个元素进行重要性评估；3) 将LLM的评估结果与人工标注的ground truth进行比较，从而评估LLM的性能。

关键创新：该研究的关键创新在于将Web信息检索问题分解为一个更基础的任务，即判断网页元素的重要性。这种分解使得研究人员可以更专注于评估LLM的语义理解能力，并为后续的自主Web导航研究提供更清晰的方向。

关键设计：论文中没有详细描述具体的参数设置、损失函数或网络结构等技术细节。研究重点在于评估LLM的现有能力，而不是提出新的模型或算法。实验中使用了现成的LLM模型，并将其应用于Web页面元素的重要性评估任务。

📊 实验亮点

实验结果表明，LLM在识别重要UI元素方面表现出合理的性能水平，但仍有很大的改进空间。具体的性能数据和对比基线在摘要中没有明确给出，但强调了LLM在该领域具有潜力，并指出了未来研究的方向。

🎯 应用场景

该研究成果可应用于智能助手、搜索引擎优化、自动化测试等领域。例如，智能助手可以利用LLM快速定位网页中的关键信息，从而更有效地响应用户查询。搜索引擎可以利用LLM提高搜索结果的准确性和相关性。自动化测试可以利用LLM自动识别Web界面中的重要元素，从而提高测试效率。

📄 摘要（原文）

Large language models (LLMs) that have been trained on a corpus that includes large amount of code exhibit a remarkable ability to understand HTML code. As web interfaces are primarily constructed using HTML, we design an in-depth study to see how LLMs can be used to retrieve and locate important elements for a user given query (i.e. task description) in a web interface. In contrast with prior works, which primarily focused on autonomous web navigation, we decompose the problem as an even atomic operation - Can LLMs identify the important information in the web page for a user given query? This decomposition enables us to scrutinize the current capabilities of LLMs and uncover the opportunities and challenges they present. Our empirical experiments show that while LLMs exhibit a reasonable level of performance in retrieving important UI elements, there is still a substantial room for improvement. We hope our investigation will inspire follow-up works in overcoming the current challenges in this domain.