Faynt: Scaling and Optimizing Policies for Competitive Melee
作者: Ali Janati, Nikita Kuzmin, Rohit Swamy, Charles Niu
分类: cs.LG
发布日期: 2026-10-01
备注: 54 pages. Preprint, in review
💡 一句话要点
提出Faynt以优化竞争性近战游戏中的策略
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 Transformer 游戏AI 策略优化 模型蒸馏 多角色控制 竞技游戏
📋 核心要点
- 现有的竞争性近战游戏AI策略在多角色控制和优化方面存在挑战，难以实现高效的策略学习。
- Faynt通过引入Transformer架构和大规模参数设置，结合强化学习和蒸馏技术，优化了游戏策略的训练过程。
- 实验结果显示，10M模型在多场对抗中表现优异，赢得98.4%的同角色比赛，并在多个评估中超越了75M模型。
📝 摘要（中文）
我们介绍了Faynt，一个针对《超级粉碎兄弟：近战》的10M和75M参数的Transformer策略家族，能够通过单一检查点控制所有26个角色。在强化学习后，10M模型在244场同角色比赛中赢得240场（98.4%），并在与十四个专业和多角色版本的对抗中保持胜利。经过840,000个真人重播的预训练，结合基于排名和结果的课程学习，75M到10M的蒸馏，以及针对Fox镜像对战的强化学习，最终实现了显著的性能提升。我们开源了模型权重、基准套件和自动化模型锦标赛平台。
🔬 方法详解
问题定义：本论文旨在解决竞争性近战游戏中AI策略的优化问题，现有方法在多角色控制和策略学习效率上存在不足。
核心思路：Faynt通过设计10M和75M参数的Transformer模型，利用强化学习和蒸馏技术，提升了策略的学习和执行效率。
技术框架：整体架构包括预训练阶段，使用约840,000个真人重播数据，随后进行基于排名和结果的课程学习，以及针对特定角色的强化学习。
关键创新：Faynt的主要创新在于其能够通过单一检查点控制多个角色，并在不同的对抗环境中实现高胜率，显著提升了AI在复杂游戏中的表现。
关键设计：在模型设计中，采用了特定的损失函数和参数设置，确保了在不同条件下的优化效果，尤其是在Fox镜像对战中的表现。通过优化推理过程，10M模型的决策时间平均为5.2毫秒。
🖼️ 关键图片
📊 实验亮点
在实验中，10M模型在244场同角色比赛中赢得240场，胜率高达98.4%。与75M模型相比，10M在初始152场基准测试中胜率为69.7%，而75M为45.4%。经过监督后，两者在每分钟受到的伤害减少，早期领先优势增大，且在失去第一条生命后胜率提升。
🎯 应用场景
Faynt的研究成果可广泛应用于竞技游戏AI的开发，尤其是在需要快速决策和多角色控制的场景中。其优化策略和训练方法也可迁移到其他领域，如机器人控制和自动驾驶等，具有重要的实际价值和未来影响。
📄 摘要（原文）
We introduce Faynt, a family of 10M- and 75M-parameter Transformer policies for Super Smash Bros. Melee, each controlling all 26 characters with a single checkpoint. After reinforcement learning (RL), the 10M wins 240 of 244 same-character games (98.4%) against fourteen specialist and multi-character releases on their supported rosters, with a winning record against every release. These opponents retain 21- or 24-frame action delays; Faynt uses no added delay, and we have not isolated the effect of this difference. In a separate evaluation against a privately supplied zero-delay Slippi-AI model, the 10M wins all 68 games across two conditioning settings. We study architecture, optimization, scaling, and hyperparameter transfer to guide pretraining on approximately 840,000 human replays. Post-training combines rank- and outcome-based curricula, 75M-to-10M distillation, and RL restricted to Fox mirror matches. On the initial 152-game benchmark, the supervised 10M wins 69.7% of games, compared with 45.4% for the pretrained 75M, despite higher overall held-out controller-prediction loss. The weighted validation loss used for supervised checkpoint selection agrees with the win-rate ordering of all four pretrained and supervised policies. After supervised post-training, both models take less damage per minute, build larger early leads, and win more often after losing the first life. Optimized inference on recorded game states averages 5.2 ms per decision for the 10M and 8.7 ms for the 75M on an NVIDIA T4, excluding emulator execution and communication. We open-source the weights, both benchmark suites, and a platform for automated model tournaments.