Curriculum Learning as Transport: Understanding Curricula with Wasserstein Geodesics
作者: Changho Shin, David Alvarez-Melis
分类: cs.LG
发布日期: 2026-09-08
备注: COLM 2026
💡 一句话要点
提出Wasserstein课程路径以解构课程学习的设计选择
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 课程学习 Wasserstein几何 训练分布 难度设计 机器学习 教育技术 自适应学习
📋 核心要点
- 现有课程学习方法难以明确识别哪些设计选择对学习效果有积极影响，导致课程效果强烈依赖于上下文。
- 本文提出Wasserstein课程路径框架，通过将课程视为训练分布的轨迹，解耦难度定义、样本顺序等因素。
- 实验结果表明，易到难的顺序在硬级别性能上优于静态采样，且端点平滑性和节奏显著影响课程的有效性。
📝 摘要（中文）
课程学习受到多个相互关联的设计选择的影响，包括难度定义、样本顺序、每个级别的曝光量以及训练跨级别的速度，这使得很难分离出哪些因素真正有助于学习。本文提出了一种基于Wasserstein几何的课程路径框架，通过将课程表示为训练分布在离散难度级别上的轨迹，从而解耦这些因素。在一个包含12个任务和33个难度轴的合成测试集中，我们利用该框架来隔离顺序、匹配曝光、端点平滑性和节奏在固定训练预算下的影响。研究发现，课程效果强烈依赖于上下文，没有单一策略在所有任务、难度轴和预算中占主导地位，课程主要改变了固定预算的有效支出位置。
🔬 方法详解
问题定义：本文旨在解决课程学习中设计选择相互耦合的问题，现有方法难以明确识别哪些因素对学习效果有积极影响。
核心思路：提出Wasserstein课程路径框架，通过将课程表示为训练分布的轨迹，解耦难度定义、样本顺序、曝光量和训练节奏等因素，从而更清晰地分析其影响。
技术框架：该框架包括多个模块，首先定义难度级别，然后通过Wasserstein距离计算不同级别之间的关系，最后通过实验验证不同设计选择的效果。
关键创新：最重要的创新在于使用Wasserstein几何来表示课程路径，使得课程学习的设计选择可以被系统地分析和优化，这与传统方法的经验性设计形成鲜明对比。
关键设计：关键参数包括难度级别的定义、样本顺序的设计、曝光量的匹配以及训练节奏的调整，损失函数和网络结构则根据具体任务进行优化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，易到难的样本顺序在硬级别性能上相较于静态采样有显著提升，且课程效果在不同任务和预算下表现出强烈的上下文依赖性。具体而言，某些设计选择在固定预算下的有效支出位置显著影响了学习效果。
🎯 应用场景
该研究的潜在应用领域包括教育技术、机器人训练和深度学习模型的优化。通过更有效的课程设计，可以提高学习系统的效率，帮助学生或机器更快地掌握复杂技能，未来可能推动个性化学习和自适应学习系统的发展。
📄 摘要（原文）
Curriculum learning is governed by several coupled design choices---how difficulty is defined, how examples are ordered, how much exposure each level receives, and how quickly training moves across levels---making it hard to isolate what actually helps. We present Wasserstein curriculum paths, a simple transport-based framework that decouples these factors by representing curricula as trajectories of training distributions over discrete difficulty levels. Across a calibrated synthetic suite with 12 tasks and 33 difficulty axes, we use this framework to isolate the effects of ordering, matched exposure, endpoint smoothness, and pacing under fixed training budgets. We find that curriculum effects are strongly context-dependent: no single strategy dominates across tasks, difficulty axes, and budgets, and curricula mainly change where a fixed budget is spent most effectively. Within this framework, easy-to-hard ordering improves hard-level performance relative to exposure-matched static sampling, showing that the benefit is not explained by cumulative exposure alone. We further show that endpoint smoothness and pacing substantially affect where along the difficulty spectrum a curriculum is effective. Finally, we show that the same transport view naturally supports extensions to learned pacing through geometry and to structured difficulty spaces beyond one-dimensional orderings.