Rosetta-PL: Propositional Logic as a Benchmark for Large Language Model Reasoning

📄 arXiv: 2505.00001v2 📥 PDF

作者: Shaun Baek, Shaun Esua-Mensah, Cyrus Tsui, Sejan Vigneswaralingam, Abdullah Alali, Michael Lu, Vasu Sharma, Sean O'Brien, Kevin Zhu

分类: cs.CL

发布日期: 2025-03-25 (更新: 2025-05-02)

💡 一句话要点

提出Rosetta-PL以评估大型语言模型的逻辑推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 逻辑推理 大型语言模型 基准评估 低资源语言 模型微调

📋 核心要点

  1. 现有大型语言模型在低资源语言和深度逻辑推理任务中的表现有限，缺乏有效的评估基准。
  2. 论文提出Rosetta-PL，通过将逻辑命题翻译为自定义逻辑语言，构建评估基准并微调LLM。
  3. 实验结果显示，保持逻辑关系的翻译显著提高了模型精度，且训练样本超过20,000后准确率趋于平稳。

📝 摘要（中文）

大型语言模型（LLMs）主要在高资源自然语言上进行训练，这限制了它们在低资源环境和需要深度逻辑推理任务中的有效性。本研究提出了Rosetta-PL，一个旨在评估LLMs逻辑推理和泛化能力的基准。我们通过将Lean中的逻辑命题数据集翻译成自定义逻辑语言构建Rosetta-PL，并用其对LLM（如GPT-4o）进行微调。实验分析了数据集规模和翻译方法对模型性能的影响。结果表明，在翻译过程中保持逻辑关系显著提高了精度，而准确率在约20,000个训练样本后趋于平稳。这些见解为优化LLM在形式推理任务中的训练和提升低资源语言应用中的性能提供了宝贵的指导。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型在低资源环境和逻辑推理任务中的评估不足，现有方法无法有效评估其逻辑推理能力。

核心思路：通过构建Rosetta-PL基准，利用自定义逻辑语言翻译逻辑命题，从而为LLM提供一个专门的训练和评估平台。

技术框架：整体架构包括数据集构建、逻辑命题翻译、LLM微调和性能评估四个主要模块。数据集通过翻译逻辑命题生成，随后对LLM进行微调并评估其推理能力。

关键创新：最重要的创新在于翻译过程中保持逻辑关系的策略，这一设计显著提升了模型的推理精度，与传统方法相比具有本质区别。

关键设计：在参数设置上，使用了特定的损失函数以优化逻辑关系的保持，网络结构上采用了GPT-4o进行微调，确保模型能够有效学习逻辑推理任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，保持逻辑关系的翻译方法显著提高了模型的推理精度，准确率在训练样本达到20,000后趋于平稳，显示出模型在逻辑推理任务中的潜力和局限性。

🎯 应用场景

该研究的潜在应用领域包括教育、法律推理、自动化决策等，能够帮助提升低资源语言的逻辑推理能力，并为相关领域的研究提供新的评估工具。未来，Rosetta-PL可能成为评估和优化LLM在逻辑推理任务中的标准基准。

📄 摘要（原文）

Large Language Models (LLMs) are primarily trained on high-resource natural languages, limiting their effectiveness in low-resource settings and in tasks requiring deep logical reasoning. This research introduces Rosetta-PL, a benchmark designed to evaluate LLMs' logical reasoning and generalization capabilities in a controlled environment. We construct Rosetta-PL by translating a dataset of logical propositions from Lean into a custom logical language, which is then used to fine-tune an LLM (e.g., GPT-4o). Our experiments analyze the impact of the size of the dataset and the translation methodology on the performance of the model. Our results indicate that preserving logical relationships in the translation process significantly boosts precision, with accuracy plateauing beyond roughly 20,000 training samples. These insights provide valuable guidelines for optimizing LLM training in formal reasoning tasks and improving performance in various low-resource language applications.