Scaling Laws for Economic Productivity: Experimental Evidence in LLM-Assisted Translation

📄 arXiv: 2409.02391v2 📥 PDF

作者: Ali Merali

分类: econ.GN, cs.AI

发布日期: 2024-09-04 (更新: 2024-12-07)

💡 一句话要点

LLM辅助翻译的经济生产力扩展定律：实验证据表明模型规模提升显著提高翻译效率和质量

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 经济生产力 扩展定律 机器翻译 在线实验

📋 核心要点

  1. 现有翻译方法在处理复杂或专业领域文本时效率和质量存在瓶颈，难以满足日益增长的需求。
  2. 该研究通过实验分析LLM算力与翻译生产力之间的关系，揭示了模型扩展对经济效益的潜在影响。
  3. 实验结果表明，增加LLM算力能显著提高翻译速度、质量和经济收益，尤其对低技能工人提升明显。

📝 摘要（中文）

本文推导了大型语言模型（LLM）训练算力与其经济产出之间的“扩展定律”，即经验关系。在一个预先注册的在线实验中，300名专业翻译人员使用13个LLM（或对照组）完成了1800项任务。模型算力每增加十倍，任务完成速度提高12.3%，评分提高0.18个标准差，每分钟收入提高16.1%。对于低技能工人来说，收益是前者的四倍。这些发现表明，在未来十年内，持续的模型扩展可能会使美国生产力提高至少6.9%。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLM）的训练算力与经济生产力之间的关系，具体体现在LLM辅助下的翻译任务中。现有翻译方法，特别是人工翻译，在面对大规模、高要求的翻译任务时，效率较低且成本较高。此外，传统机器翻译模型在处理复杂语境和专业术语时表现不佳，影响翻译质量。

核心思路：论文的核心思路是通过实验方法，量化LLM的训练算力对翻译任务的各项指标（如速度、质量、收益）的影响。通过分析这些指标与算力之间的关系，推导出经济生产力的扩展定律，从而预测未来模型扩展对经济的潜在影响。这种思路将LLM的研究与经济学相结合，具有创新性。

技术框架：该研究采用预先注册的在线实验设计。300名专业翻译人员被分配到不同的组，每组使用不同的LLM（共13个）或作为对照组（不使用LLM）。所有翻译人员完成1800项翻译任务。研究人员记录并分析各项指标，包括任务完成速度、翻译质量评分和每分钟收入。通过回归分析，建立LLM算力与各项指标之间的数学模型。

关键创新：该研究的关键创新在于将LLM的扩展定律与经济生产力联系起来，通过实验数据验证了模型扩展对经济效益的积极影响。此外，研究还发现，LLM对低技能工人的生产力提升更为显著，这表明LLM具有促进劳动力市场公平的潜力。

关键设计：实验设计的关键在于控制变量，确保实验结果的可靠性。例如，所有翻译人员都具有专业资质，任务难度保持一致，使用相同的评估标准。此外，研究人员还考虑了LLM的推理成本，将其纳入经济效益的计算中。具体使用的LLM型号未知，损失函数和网络结构等细节也未在摘要中提及。

📊 实验亮点

实验结果表明，LLM算力每增加十倍，任务完成速度提高12.3%，翻译质量评分提高0.18个标准差，每分钟收入提高16.1%。更重要的是，对于低技能工人，收益是高技能工人的四倍，这突显了LLM在提升劳动力市场公平性方面的潜力。这些数据有力地支持了模型扩展对经济生产力的积极影响。

🎯 应用场景

该研究成果可应用于机器翻译、内容创作、跨语言交流等领域。通过持续扩展LLM的规模，可以提高翻译效率和质量，降低翻译成本，促进全球贸易和文化交流。此外，该研究还为政府和企业制定人工智能发展战略提供了参考，有助于优化资源配置，提高整体经济生产力。

📄 摘要（原文）

This paper derives "scaling laws"--empirical relationships between the training compute of Large Language Models (LLMs) and their performance--for economic outcomes. In a preregistered online experiment, 300 professional translators completed 1,800 tasks using one of 13 LLMs (or a control). A tenfold increase in model compute improved task completion speed by 12.3%, grades by 0.18 standard deviations, and earnings per minute by 16.1%. Gains were four times larger for lower-skilled workers. These findings suggest continued model scaling could boost U.S. productivity by at least 6.9% over the next decade.