Vectorizing Classical Tamil: Representation Learning for Verse-Commentary Pairs
作者: Amrit Gopinath, Sangeetha Sivanesan
分类: cs.CL
发布日期: 2026-09-04
备注: 8 pages, 5 figures, 6 tables
💡 一句话要点
构建古典泰米尔诗歌与注释对的表示学习模型
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 古典泰米尔 表示学习 诗歌注释 深度学习 Transformer 自然语言处理 数据挖掘
📋 核心要点
- 现有的古典泰米尔诗歌与注释配对的表示学习方法尚未充分挖掘其潜在信息，导致模型性能不足。
- 本研究提出了一种多种模型训练的方法，包括递归神经网络和Transformer编码器，以提高诗歌与注释对的表示学习效果。
- 实验结果表明，解码模型在真实词序的偏好上表现优异，但在生成内容方面仍存在不足，且TF-IDF基线表现强劲。
📝 摘要（中文）
本研究构建了一个包含1262对古典泰米尔诗歌与注释的语料库，涵盖从技术语法散文到现代释义的多种来源。我们训练了递归和Transformer编码器、Siamese风格的配对匹配网络、mBART风格的编码-解码模型以及仅解码的语言模型。通过与适当的控制组进行对比分析，发现TF-IDF提供了强有力的无训练词汇检索基线。尽管解码模型在生成重叠方面表现不佳，但在112个最小对比中，解码模型在95.5%的情况下偏好真实的词序。我们发布了提取和评估协议，源注释的再分发需获得许可。
🔬 方法详解
问题定义：本研究旨在解决古典泰米尔诗歌与注释对的表示学习问题，现有方法未能充分利用语料库中的信息，导致模型性能不足。
核心思路：通过构建一个包含1262对诗歌与注释的语料库，采用多种深度学习模型（如递归神经网络、Transformer等）进行训练，以探索信息表示学习的潜力。
技术框架：整体架构包括数据预处理、模型训练和评估三个主要阶段。首先构建语料库，然后训练不同类型的模型，最后通过与控制组的对比分析评估模型性能。
关键创新：本研究的创新在于使用多种模型架构进行比较，尤其是Siamese风格的配对匹配网络和mBART风格的编码-解码模型，提供了对古典泰米尔文本的新视角。
关键设计：在模型训练中，采用了适当的损失函数和超参数设置，确保模型能够有效学习诗歌与注释之间的关系。解码模型在112个最小对比中表现出对真实词序的偏好，尽管未能再现持有的注释内容。
🖼️ 关键图片
📊 实验亮点
实验结果显示，TF-IDF作为无训练基线表现出色，而解码模型在112个最小对比中有95.5%的情况下偏好真实词序。尽管解码模型在生成内容方面未能达到预期，但其在训练过程中的表现仍然值得关注。
🎯 应用场景
该研究的潜在应用领域包括古典文学的数字化、自动注释生成以及语言模型的改进。通过提高古典文本的理解和处理能力，该研究有助于推动人文学科与计算机科学的交叉研究，促进文化遗产的保护与传播。
📄 摘要（原文）
We construct a corpus of 1,262 verse-commentary (urai) pairs from five Classical Tamil source sections, ranging from technical grammatical prose to modern paraphrase, and ask what information representation learning can recover. We train recurrent and Transformer encoders, a Siamese-style pair-matching network, an mBART-style encoder-decoder, and a decoder-only language model. Each analysis is interpreted against an appropriate control on the same data. TF-IDF provides a strong no-training lexical retrieval baseline, alongside representation analyses and generation controls for the learned models. A fixed string containing the 25 most frequent commentary words scores higher on generation overlap than the decoder-only model. Canonical correlation reaches 1.000 on Gaussian noise at these sample sizes, token-F1 spans only about 0.02-0.20 on this corpus, and the encoder-decoder continues to lower training loss for sixteen epochs after validation loss has begun to rise. One narrow result remains: the decoder-only model prefers authentic word order in 107 of 112 minimal-pair comparisons (95.5%), but does not reproduce held-out commentary content. We release the extraction and evaluation protocol; redistribution of the source commentaries remains subject to permission.