Hierarchical Token Merging with Recursive Autoencoders for Unsupervised Grammar Induction
作者: Murat Guney Kemal, Robert Lieck
分类: cs.CL, cs.AI
发布日期: 2026-10-19
💡 一句话要点
提出层次化标记合并的递归自编码器以解决无监督语法归纳问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 无监督学习 层次化抽象 自编码器 语法归纳 信息瓶颈 动态规划 结构发现
📋 核心要点
- 现有方法在无监督学习中难以从数据中提取有意义的层次结构，缺乏有效的结构监督。
- 本文提出的层次化标记合并自编码器通过递归合并相邻标记，利用变分信息瓶颈实现层次结构的学习。
- 实验结果显示，该模型在合成模糊语法上实现93%的解析有效性，显著优于传统基线，验证了其有效性。
📝 摘要（中文）
层次化抽象是许多数据模态中的基本原则，使复杂序列能够在多个层次上以组合方式表示。从数据中直接学习这种层次结构而无需显式的结构监督仍然是表示学习中的一个核心挑战。本文研究了仅通过压缩是否能够产生有意义的层次结构。我们提出了一种层次化标记合并自编码器，递归地将相邻标记组合成越来越抽象的表示，通过变分信息瓶颈压缩整个序列。该模型通过动态规划对可能的二叉树进行边际化，从而共同学习表示和层次结构。实验表明，在没有结构监督的情况下，模型能够产生有意义的层次结构，最终在持出序列上实现93%的语法解析有效性和93%的精确重构，相较于最强的基线42%的解析有效性，显示出显著提升。
🔬 方法详解
问题定义：本文旨在解决无监督语法归纳中的层次结构学习问题。现有方法往往依赖于显式的结构监督，导致无法有效提取数据中的层次信息。
核心思路：论文提出的层次化标记合并自编码器通过递归合并相邻标记，利用压缩过程中的变分信息瓶颈，自动学习数据的层次结构，而无需外部监督。
技术框架：该模型的整体架构包括标记合并模块和动态规划模块。标记合并模块负责递归地将相邻标记组合，动态规划模块则用于边际化可能的二叉树，从而实现层次结构的学习。
关键创新：最重要的创新在于通过层次化标记合并实现无监督结构发现，突破了传统自编码器仅关注重构的局限，能够有效提取数据中的层次信息。
关键设计：模型设计中采用了变分信息瓶颈作为损失函数，确保压缩过程中的信息保留，同时通过独立训练的模型进行无监督共识和蒸馏，以提高训练的稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，模型在合成模糊语法上实现93%的语法解析有效性和93%的精确重构，显著优于最强基线42%的解析有效性，验证了层次化标记合并在无监督结构发现中的有效性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、计算机视觉和其他需要层次结构理解的领域。通过无监督学习层次结构，模型能够在缺乏标注数据的情况下，自动发现数据中的潜在规律，具有重要的实际价值和未来影响。
📄 摘要（原文）
Hierarchical abstraction is a fundamental principle across many data modalities, enabling complex sequences to be represented compositionally at multiple levels. Learning such hierarchies directly from data, without explicit structural supervision, remains a central challenge in representation learning. We investigate whether meaningful hierarchical structure can emerge from compression alone. While autoencoders learn compressed representations through reconstruction, this objective does not necessarily favour meaningful compositional structure. We study this challenge through unsupervised grammar induction, where the underlying hierarchy can be evaluated explicitly. We introduce a hierarchical token-merging autoencoder that recursively combines adjacent tokens into increasingly abstract representations, compressing entire sequences through a variational information bottleneck. The model jointly learns representations and hierarchical structure by marginalising over possible binary trees using dynamic programming. To address training instability, we combine independently trained models through unsupervised consensus and distillation. Experiments on a synthetic, ambiguous grammar demonstrate the emergence of meaningful hierarchical structure without structural supervision. The resulting model achieves 93% grammatical parse-validity and 93% exact reconstruction on held-out sequences, compared with 42% parse-validity for the strongest trivial baseline. These findings establish a proof of concept for hierarchical token merging as a mechanism for unsupervised structure discovery and abstraction learning.