Automated Validation of COBOL to Java Transformation

📄 arXiv: 2506.10999v1 📥 PDF

作者: Atul Kumar, Diptikalyan Saha, Toshikai Yasue, Kohichi Ono, Saravanan Krishnan, Sandeep Hans, Fumiko Satoh, Gerald Mitchell, Sachin Kumar

分类: cs.SE, cs.AI

发布日期: 2025-04-14

备注: arXiv admin note: text overlap with arXiv:2504.10548

期刊: ASE 2024

💡 一句话要点

提出基于符号执行的自动化验证框架，用于COBOL到Java代码转换的正确性验证。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代码转换验证 COBOL Java 符号执行 单元测试

📋 核心要点

  1. 现有基于LLM的代码翻译方法缺乏有效的验证机制，无法保证转换后代码的正确性。
  2. 提出一种基于符号执行的自动化验证框架，通过生成和执行等价的单元测试来验证COBOL和Java代码的语义等价性。
  3. 该框架能够自动生成测试用例并模拟外部资源调用，从而实现对代码转换的全面验证和问题定位。

📝 摘要（中文）

大型语言模型（LLM）驱动的生成式AI技术在将企业级代码从COBOL等遗留语言翻译成Java或Python等现代语言方面取得了显著进展。尽管基于LLM的自动转换结果令人鼓舞，但转换后的代码的正确性无法保证。本文提出了一个框架和工具，用于验证COBOL代码和翻译后的Java代码的等价性。验证结果可以帮助修复代码中的问题，并为AI模型提供反馈以改进翻译质量。该框架采用基于符号执行的测试生成方法，自动为COBOL源代码生成单元测试，并模拟外部资源调用。同时，生成等效的JUnit测试用例，并进行等效的模拟，以检查原始程序和翻译后的程序之间的语义等价性。

🔬 方法详解

问题定义：论文旨在解决COBOL到Java代码自动转换后，如何验证转换后的Java代码与原始COBOL代码在语义上是否等价的问题。现有方法缺乏有效的自动化验证手段，人工验证成本高昂且容易出错。因此，需要一种自动化的方法来确保代码转换的正确性，并为AI模型提供反馈以改进翻译质量。

核心思路：论文的核心思路是利用符号执行技术自动生成COBOL代码的单元测试，并将其转换为等价的Java JUnit测试用例。通过执行这些测试用例，比较COBOL代码和Java代码的输出结果，从而判断两者在语义上是否等价。如果测试结果不一致，则表明代码转换存在问题。

技术框架：该框架包含以下主要模块：1) COBOL代码解析器：用于解析COBOL源代码，提取程序结构和语义信息。2) 符号执行引擎：用于对COBOL代码进行符号执行，生成单元测试用例。3) JUnit测试用例生成器：用于将COBOL单元测试用例转换为等价的Java JUnit测试用例。4) 外部资源模拟器：用于模拟COBOL程序调用的外部资源，例如数据库和文件系统。5) 测试执行器：用于执行COBOL和Java测试用例，并比较两者的输出结果。

关键创新：该方法最重要的技术创新点在于利用符号执行技术自动生成COBOL代码的单元测试，并将其转换为等价的Java JUnit测试用例。这种方法能够有效地覆盖COBOL代码的各种执行路径，从而提高代码转换验证的准确性和可靠性。与现有方法相比，该方法无需人工编写测试用例，大大降低了验证成本。

关键设计：在符号执行过程中，需要定义符号变量的取值范围和约束条件。在JUnit测试用例生成过程中，需要确保生成的Java代码与COBOL代码在语义上等价。在外部资源模拟过程中，需要模拟各种可能的外部资源状态，以确保测试的全面性。具体的参数设置、损失函数、网络结构等技术细节在论文中未详细描述，属于未知信息。

📊 实验亮点

论文提出了一个完整的自动化验证框架，并实现了相应的工具。虽然论文摘要中没有提供具体的实验数据，但该框架通过符号执行和等价测试用例生成，为COBOL到Java的代码转换提供了一种有效的验证手段，具有重要的实际意义。

🎯 应用场景

该研究成果可应用于企业遗留系统现代化改造，特别是在将COBOL等遗留代码迁移到Java等现代语言的过程中。通过自动化验证代码转换的正确性，可以降低迁移风险，提高迁移效率，并减少人工干预。该方法还可用于评估和改进基于LLM的代码翻译模型的性能。

📄 摘要（原文）

Recent advances in Large Language Model (LLM) based Generative AI techniques have made it feasible to translate enterpriselevel code from legacy languages such as COBOL to modern languages such as Java or Python. While the results of LLM-based automatic transformation are encouraging, the resulting code cannot be trusted to correctly translate the original code. We propose a framework and a tool to help validate the equivalence of COBOL and translated Java. The results can also help repair the code if there are some issues and provide feedback to the AI model to improve. We have developed a symbolic-execution-based test generation to automatically generate unit tests for the source COBOL programs which also mocks the external resource calls. We generate equivalent JUnit test cases with equivalent mocking as COBOL and run them to check semantic equivalence between original and translated programs.