BANGLAPLAN: A Benchmark for Constraint-Based Planning and Decision-Making in Bangla

📄 arXiv: 2610.19704v1 📥 PDF

作者: Md Rayhanul Masud, S M Maksudul Alam, Mohammad Jaminur Islam

分类: cs.CL

发布日期: 2026-10-14

🔗 代码/项目: GITHUB

💡 一句话要点

提出BANGLAPLAN以解决孟加拉语约束规划与决策评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 约束规划 决策评估 孟加拉语 语言模型 基准测试 人工智能 机器学习

📋 核心要点

  1. 现有的语言模型在孟加拉语的约束规划与决策任务中缺乏有效的评估基准，导致无法准确衡量模型性能。
  2. 本文提出了BANGLAPLAN基准，通过构建1000个涵盖多种任务类型的问题，填补了这一空白，并引入了多种语言风格。
  3. 实验结果显示，GPT-6.1 Sol模型在可行性检测中表现优异，准确率达到98.7%，而其他模型的表现则相对较低，揭示了当前模型的局限性。

📝 摘要（中文）

大型语言模型（LLMs）在安排约会、规划旅行和资源分配等任务中越来越受到用户的青睐。这些任务需要模型满足时间、成本、容量和顺序等约束，或判断是否存在可行解。尽管现有基准涵盖了许多语言和推理任务，但缺乏针对孟加拉语的约束规划与决策评估基准。为此，本文提出了BANGLAPLAN基准，包含1000个问题，涵盖孟加拉日常生活和机构中的十个任务类别，提供可行和不可行的问题，涵盖四种语言风格。通过语言模型辅助草拟和独立人类验证构建基准，并评估了11种模型配置的表现，发现性能差距显著。BANGLAPLAN为孟加拉语的规划与决策评估提供了可重复的基础。

🔬 方法详解

问题定义：本文旨在解决缺乏针对孟加拉语的约束规划与决策评估基准的问题。现有方法未能有效覆盖这一领域，导致模型性能评估困难。

核心思路：论文提出BANGLAPLAN基准，通过设计1000个问题，涵盖可行与不可行的情况，提供多样化的语言风格，以便全面评估模型在约束条件下的表现。

技术框架：整体架构包括问题设计、语言模型辅助草拟和人类验证三个主要阶段。问题设计涵盖日常生活和机构中的实际场景，确保基准的实用性。

关键创新：最重要的创新在于构建了一个专门针对孟加拉语的约束规划基准，填补了现有研究的空白，并提供了多种语言风格的覆盖。

关键设计：在模型评估中，采用了精确匹配的评估指标，分别报告可行案例准确率、不可行性检测和格式错误，确保评估的全面性和准确性。实验中使用了11种不同的模型配置，比较其在BANGLAPLAN基准上的表现。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，GPT-6.1 Sol模型在可行性检测中达到了98.7%的准确率，而Qwen3.5-27B模型的思考能力也达到了80.3%。相比之下，直接回答配置的最高得分仅为30.9%，显示出显著的性能差距。七种模型配置的表现低于始终“不可行”的基线，揭示了当前模型在复杂问题上的局限性。

🎯 应用场景

BANGLAPLAN基准的提出为孟加拉语的约束规划与决策任务提供了重要的评估工具，具有广泛的应用潜力。它可以帮助研究人员和开发者在实际应用中更好地理解和优化语言模型的决策能力，推动孟加拉语处理技术的发展，尤其是在智能助手和资源分配系统等领域。

📄 摘要（原文）

Large language models (LLMs) increasingly help users arrange appointments, plan journeys, and allocate limited resources. These tasks require models to satisfy constraints on time, cost, capacity, and order, or determine that no feasible solution exists. Bangla is the world's seventh most widely spoken language, and existing benchmarks cover many language and reasoning tasks. However, benchmarks for evaluating planning and decision-making in Bangla under explicit constraints remain lacking. We introduce BANGLAPLAN, a benchmark of 1,000 problems across ten task families grounded in everyday life and institutions in Bangladesh. It includes feasible and infeasible problems in four language registers: everyday, formal, colloquial, and Bangla--English mixed. Answers cover eight structured types, including schedules, routes, allocations, and ordered steps, in a common JSON format. We construct the benchmark through language-model-assisted drafting and independent human validation. We evaluate 11 open-weight and proprietary model configurations using exact match, separately reporting feasible-case accuracy, infeasibility detection, and format errors. We find a large performance gap: GPT-6.1 Sol achieves 98.7% accuracy and Qwen3.5-27B with thinking reaches 80.3%, while direct-answer configurations score at most 30.9%. Seven of eleven configurations perform below the always-``infeasible'' baseline. Our findings also suggest that harder problems primarily reduce plan-construction accuracy, while infeasibility detection remains more robust. BANGLAPLAN provides a reproducible basis for evaluating planning and decision-making in Bangla. BANGLAPLAN is available at: https://github.com/mrayhanulmasud/banglaplan.