Tropical Reinforcement Learning
作者: Arip Asadulaev, Aladin Djuhera, Karim Salta, Holger Boche, Fakhri Karray, Martin Takac
分类: cs.AI
发布日期: 2026-10-01
💡 一句话要点
提出热带强化学习以解决语言模型的组合推理问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 强化学习 组合推理 热带半环 语言模型 TROPIC算法 智能对话系统 自然语言处理
📋 核心要点
- 现有的强化学习方法在组合推理中存在不足，无法有效识别和利用不同尝试中的成功路径。
- 论文提出热带强化学习，通过最大化概率而非求和，允许组合来自不同回合的最佳前缀和后缀。
- 在四个代理任务上，TROPIC算法的表现优于最强的在线基线，提升幅度可达16个百分点。
📝 摘要（中文）
强化学习在大型语言模型中的应用通常通过最大化期望回报来进行，但传统的求和公式只能报告模型策略成功的频率，而无法识别实际有效的解决方案。此外，由于概率总和为1，强化某一解决方案可能导致模型遗忘未被证明错误的其他方案。这使得期望回报不适合组合推理。为此，本文提出热带强化学习，通过改变代数运算，从而使用最大值而非求和，形成热带半环。状态的值变为其最可能的验证解决方案的对数概率，并提供可重放的显式路径。这种方法实现了真正的组合推理。我们引入了TROPIC算法，在四个代理任务中，TROPIC的表现超越了最强的在线基线，提升幅度可达16个百分点。
🔬 方法详解
问题定义：本文旨在解决现有强化学习方法在组合推理中的不足，特别是无法有效识别和利用不同尝试中的成功路径。传统方法通过求和来计算期望回报，导致模型可能遗忘未被证明错误的其他方案。
核心思路：论文提出热带强化学习，核心思想是将概率的求和替换为最大值计算，形成热带半环。这种设计使得状态的值能够反映最可能的验证解决方案，并提供可重放的路径，从而实现真正的组合推理。
技术框架：整体架构包括状态值的计算、路径的记录与重放。首先，模型在确定性、可重置的环境中进行训练，记录每个状态的最佳解决方案及其路径。然后，通过最大化概率而非求和来更新状态值。
关键创新：最重要的技术创新在于改变了强化学习的代数运算方式，从而显著改善了组合推理能力。这一方法与传统方法的本质区别在于其能够有效整合来自不同回合的成功路径。
关键设计：在TROPIC算法中，关键参数包括状态的最大值计算和路径记录机制。损失函数设计为鼓励模型探索多样的解决方案，同时确保路径的可重放性。
🖼️ 关键图片
📊 实验亮点
在四个代理任务（Sokoban、Countdown、FrozenLake、WebShop）中，TROPIC算法的表现超越了最强的在线基线，提升幅度可达16个百分点。这一结果表明，改变强化学习的代数运算方式能够显著改善模型的组合推理能力。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、智能对话系统和复杂决策支持系统。通过改进组合推理能力，热带强化学习能够帮助模型更好地理解和生成复杂的语言结构，从而提升实际应用的智能水平和用户体验。
📄 摘要（原文）
Reinforcement learning for large language models typically maximizes expected return, adding up the probabilities of all successful trajectories. However, the classical sum formulation can only report how often the model policy succeeds, not which solution actually worked, and because probabilities sum to one, reinforcing one solution can make the model forget another that was never shown to be wrong. This makes expected return a poor fit for compositional reasoning, where a solution must be assembled from reasoning steps that the model produces in separate, often failed, attempts but rarely produces together. To address this, we propose Tropical Reinforcement Learning, which rests on a simple change of algebra: instead of adding the probabilities of alternative solutions, we take their maximum, which yields the tropical semiring. The value of a state then becomes the log-probability of its most likely verified solution, together with an explicit path that can be replayed and reused. This enables true composition, since the best prefix and the best suffix meeting at a shared state can be joined even when they come from different rollouts. To put this into practice, we introduce TROPIC, a training algorithm for deterministic, resettable environments with verifiable outcomes. On four agentic tasks (Sokoban, Countdown, FrozenLake, WebShop), TROPIC outperforms the strongest on-policy baselines by up to 16 percentage points. Changing the algebra of reinforcement learning, not just its estimators, can thus substantially improve compositional reasoning in language models