LLM as Runtime Error Handler: A Promising Pathway to Adaptive Self-Healing of Software Systems

📄 arXiv: 2408.01055v1 📥 PDF

作者: Zhensu Sun, Haotian Zhu, Bowen Xu, Xiaoning Du, Li Li, David Lo

分类: cs.SE, cs.AI, cs.CR

发布日期: 2024-08-02

💡 一句话要点

提出Healer框架，利用LLM实时处理运行时错误，实现软件系统自愈

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 运行时错误处理 自愈系统 大型语言模型 代码生成 软件可靠性

📋 核心要点

  1. 现有自愈技术依赖预定义的启发式规则，难以适应多样化的运行时错误，自愈能力受限。
  2. Healer框架利用LLM实时生成错误处理代码，动态适应不同的运行时错误，实现自愈。
  3. 实验表明，GPT-4在无需微调的情况下，能够成功恢复72.8%的运行时错误，验证了LLM的有效性。

📝 摘要（中文）

本文提出了一种基于大型语言模型（LLM）的自愈框架Healer，旨在解决软件系统中未预料到的运行时错误。这些错误可能导致程序意外终止，造成数据丢失或系统崩溃。Healer利用LLM理解和生成代码的能力，在运行时实时生成错误处理代码。该代码在框架的运行时环境中执行，以获得修正后的程序状态，使程序能够继续执行。实验结果表明，在无需微调的情况下，GPT-4能够成功帮助程序从72.8%的运行时错误中恢复，突显了LLM在处理运行时错误方面的潜力。

🔬 方法详解

问题定义：论文旨在解决软件运行时未处理的错误导致程序崩溃的问题。现有自愈方法依赖于预定义的规则，无法灵活应对各种未知的运行时错误，导致自愈能力不足。这些未处理的错误可能导致严重后果，如数据丢失或系统崩溃。

核心思路：核心思路是利用大型语言模型（LLM）的代码理解和生成能力，在运行时动态生成错误处理代码。当出现未处理的运行时错误时，Healer框架会激活LLM，根据错误信息和上下文生成一段代码，用于修复或绕过该错误，从而使程序能够继续执行。

技术框架：Healer框架主要包含以下几个阶段：1) 错误检测：监控程序运行，检测未处理的运行时错误。2) LLM代码生成：当检测到错误时，将错误信息和程序上下文传递给LLM，LLM生成一段错误处理代码。3) 代码执行：在Healer框架的运行时环境中执行生成的代码。4) 状态恢复：通过执行生成的代码，尝试修复程序状态，使其能够从错误中恢复并继续执行。

关键创新：关键创新在于利用LLM的强大代码生成能力，实现了运行时错误的动态处理。与传统的基于预定义规则的自愈方法不同，Healer能够根据具体的错误信息和上下文，生成定制化的错误处理代码，从而更好地适应各种未知的运行时错误。

关键设计：Healer的关键设计包括：1) 如何有效地将错误信息和程序上下文传递给LLM，以便LLM能够生成合适的错误处理代码。2) 如何安全地执行LLM生成的代码，避免引入新的安全漏洞。3) 如何评估生成的代码的有效性，确保其能够成功修复错误并恢复程序状态。论文中使用了GPT-3.5, GPT-4, 和 CodeQwen-7B 三种不同的LLM模型进行实验。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在四个不同的代码基准测试中，GPT-4在无需任何微调的情况下，能够成功帮助程序从72.8%的运行时错误中恢复。这显著优于传统的基于规则的自愈方法，证明了LLM在处理运行时错误方面的巨大潜力。

🎯 应用场景

Healer框架可应用于各种软件系统，提高系统的稳定性和可靠性。例如，在服务器端应用中，可以减少因运行时错误导致的宕机时间；在嵌入式系统中，可以提高系统的容错能力。该研究为开发更智能、更可靠的软件系统提供了新的思路。

📄 摘要（原文）

Unanticipated runtime errors, lacking predefined handlers, can abruptly terminate execution and lead to severe consequences, such as data loss or system crashes. Despite extensive efforts to identify potential errors during the development phase, such unanticipated errors remain a challenge to to be entirely eliminated, making the runtime mitigation measurements still indispensable to minimize their impact. Automated self-healing techniques, such as reusing existing handlers, have been investigated to reduce the loss coming through with the execution termination. However, the usability of existing methods is retained by their predefined heuristic rules and they fail to handle diverse runtime errors adaptively. Recently, the advent of Large Language Models (LLMs) has opened new avenues for addressing this problem. Inspired by their remarkable capabilities in understanding and generating code, we propose to deal with the runtime errors in a real-time manner using LLMs. Specifically, we propose Healer, the first LLM-assisted self-healing framework for handling runtime errors. When an unhandled runtime error occurs, Healer will be activated to generate a piece of error-handling code with the help of its internal LLM and the code will be executed inside the runtime environment owned by the framework to obtain a rectified program state from which the program should continue its execution. Our exploratory study evaluates the performance of Healer using four different code benchmarks and three state-of-the-art LLMs, GPT-3.5, GPT-4, and CodeQwen-7B. Results show that, without the need for any fine-tuning, GPT-4 can successfully help programs recover from 72.8% of runtime errors, highlighting the potential of LLMs in handling runtime errors.