KiranaBench: Can a Language Model Run a Neighbourhood Shop?
作者: Bhuvan Arora, Ankita Karmakar, Chaitanya Jain, Dilesh Churiwal, Harshit Jain, Shivansh Manish Dubey, Manish Prasad, Raja Piyush, Kshitij Tayal, Dhruv Kumar, Jagat Sesh Challa, Raunak Manekar, Yash Sinha
分类: cs.CL, cs.MA
发布日期: 2026-10-16
备注: 27 pages, 16 figures, 7 tables. Code, data and traces: https://osf.io/s2pxg/
💡 一句话要点
提出KiranaBench以评估多语言环境下的LLM商店运营能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 多代理系统 多语言处理 商业自动化 印度市场 模拟环境 长时间任务 协作学习
📋 核心要点
- 现有的LLM代理在多语言和多代理环境下的商业运营能力不足，尤其是在印度市场。
- KiranaBench通过模拟印度杂货店，采用多代理协作的方式，评估LLM在多语言环境中的表现。
- 实验结果显示，所有评估的LLM模型在利润上均未达到固定规则店主的基线，且在印地语和Hinglish的表现低于英语。
📝 摘要（中文）
大型语言模型（LLM）代理在长时间任务中的评估日益增多，包括自主运营商业。现有基准几乎完全基于英语，且主要集中在西方零售背景下，且通常为单一代理直接观察业务。本文研究这些结果在多代理印度环境中的转移性，提出了KiranaBench，一个模拟的印度杂货店，其中四个角色（经理、收银员、助手和簿记员）由不同的LLM代理扮演。与客户和供应商的互动使用英语、印地语或Hinglish进行，产品需求根据印度国家家庭消费支出调查进行校准。对四个开放权重的LLM进行评估，结果显示所有模型的表现均远低于固定规则的店主基线，最佳模型的利润仅为基线的八分之一，且有两个模型的表现低于无人管理的商店。KiranaBench提供了证据，表明当前的LLM代理尚不可靠，无法在印度自主运营小型企业，并为开发适合长期、协作和多语言环境的代理提供了测试平台。
🔬 方法详解
问题定义：本文旨在解决现有LLM在多语言和多代理环境下自主运营商业的能力不足的问题。现有方法主要集中在英语和单一代理的场景，缺乏对印度市场的适应性。
核心思路：论文提出KiranaBench，通过模拟印度杂货店的多角色环境，评估LLM在多语言（英语、印地语、Hinglish）下的表现，强调多代理协作的重要性。
技术框架：KiranaBench的整体架构包括四个主要角色：经理、收银员、助手和簿记员，每个角色由独立的LLM代理执行。代理之间通过模拟的客户和供应商进行互动，产品需求基于真实的消费数据进行校准。
关键创新：KiranaBench的主要创新在于其多代理和多语言的设计，突破了现有单一代理和单一语言的评估框架，使得评估更加贴近实际商业环境。
关键设计：在模型评估中，采用开放权重的LLM，并通过与固定规则的店主进行利润对比，设置了多种语言的交互场景，以确保评估的全面性和准确性。实验中还考虑了不同语言对模型表现的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所有评估的LLM模型在利润上均未达到固定规则店主的基线，最佳模型的利润仅为基线的八分之一，且有两个模型的表现低于无人管理的商店。这表明当前LLM在自主运营小型企业方面的能力仍有待提升。
🎯 应用场景
KiranaBench的研究成果可广泛应用于小型商业运营的自动化，尤其是在多语言和多文化环境中。它为开发适合印度及其他类似市场的智能代理提供了基础，未来可能推动智能商业管理系统的普及与应用。
📄 摘要（原文）
Large language model (LLM) agents are increasingly evaluated on long-horizon tasks, including autonomously running a business. Existing benchmarks for this setting are almost exclusively English-language, Western in retail context, and single-agent, with the agent observing the business directly. We study how these results transfer to a multi-agent Indic setting. We introduce KiranaBench, a simulated Indian general store in which four roles (manager, cashier, helper, and bookkeeper) are each played by a separate LLM agent. Interactions with customers and suppliers occur in English, Hindi, or Hinglish, and product demand is calibrated to India's national Household Consumption Expenditure Survey. Evaluating four open-weight LLMs, we find that all fall far short of a fixed-rule shopkeeper baseline: the best model earns only one-eighth of the baseline's profit, and two models finish below an unmanaged shop. Performance is also consistently lower for Hindi and Hinglish than for English supplier communication. KiranaBench offers evidence that current LLM agents are not yet reliable for autonomously operating small businesses in India, and provides a testbed for developing agents suited to settings that are long-horizon, collaborative, and multilingual.