ARIA: Audio-Driven Melody-Tone Relation Modeling for Cantonese Lyric Authoring

📄 arXiv: 2610.07902v1 📥 PDF

作者: Shengyu Li, Jinting Wang, Li Liu

分类: cs.CL, cs.SD

发布日期: 2026-10-06

备注: Accepted for publication in Findings of EMNLP 2026. 24 pages, including references and appendices. Author-prepared version

💡 一句话要点

提出ARIA框架以解决粤语歌词创作中的音调与旋律关系建模问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音频驱动 粤语歌词生成 旋律音调建模 深度学习 自然语言处理

📋 核心要点

  1. 现有的旋律引导歌词生成方法依赖于符号旋律，难以处理真实创作中常见的音频旋律，导致音调与旋律的对齐问题。
  2. 本文提出的ARIA框架通过音频驱动的两阶段建模，利用时间戳信息从唱歌录音中生成粤语歌词，解决了音调与旋律的关系建模问题。
  3. 实验结果显示，ARIA在0243音调预测和音调一致的歌词生成上表现优异，相较于基线方法有显著提升。

📝 摘要（中文）

粤语歌词创作需要词汇音调与旋律音高之间的紧密对齐。现有的旋律引导歌词生成方法通常依赖于符号旋律，而在实际创作中，旋律往往以原始音频或哼唱录音的形式存在，音高信息隐含且噪声较多，导致这些方法难以直接应用。为了解决这一限制，本文提出了ARIA，一个基于音频驱动的两阶段旋律-音调关系建模框架，能够从带有字符级时间戳的唱歌录音中生成粤语歌词。具体而言，我们设计了一个三流关系感知音调估计器（TRATE），通过建模多流声学线索和关系音调结构，从时间戳的唱歌音频中预测0243序列。然后，我们提出了一个解耦检索增强音调条件歌词生成器（DRA-TCLG），根据预测的音调计划生成流畅的歌词，并结合检索增强的词汇指导。实验结果表明，ARIA在0243预测和音调一致的歌词生成方面表现出色，验证了所提框架的有效性。

🔬 方法详解

问题定义：本文旨在解决粤语歌词创作中音调与旋律之间的关系建模问题。现有方法多依赖于符号旋律，无法有效处理真实音频中的隐含音高信息，导致生成歌词的音调一致性差。

核心思路：ARIA框架通过音频驱动的两阶段建模，首先从唱歌录音中提取音调信息，然后生成与音调一致的歌词。此设计使得系统能够处理真实创作场景中的复杂音频数据。

技术框架：ARIA框架分为两个主要模块：第一阶段是三流关系感知音调估计器（TRATE），用于从时间戳的唱歌音频中预测0243音调序列；第二阶段是解耦检索增强音调条件歌词生成器（DRA-TCLG），根据预测的音调计划生成流畅的歌词。

关键创新：最重要的创新在于将音频驱动的音调估计与歌词生成相结合，利用多流声学线索和关系音调结构，显著提升了音调一致性和生成质量。

关键设计：TRATE模块采用多流输入，结合声学特征和时间戳信息，使用特定的损失函数优化音调预测；DRA-TCLG模块则通过检索增强的方式提供词汇指导，确保生成歌词的流畅性和音调一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ARIA在0243音调预测任务中达到了较高的准确率，且在音调一致的歌词生成上相较于基线方法有显著提升，具体提升幅度达到XX%（具体数据未知）。

🎯 应用场景

ARIA框架在粤语歌词创作中具有广泛的应用潜力，能够帮助音乐创作者在真实音频环境下生成高质量的歌词。未来，该技术还可以扩展到其他语言的歌词生成和音乐创作领域，推动音乐创作的智能化进程。

📄 摘要（原文）

Cantonese lyric writing requires close alignment between lexical tones and melodic pitch. Existing melody-guided lyric generation methods typically rely on symbolic melody to generate lyrics. However, in real songwriting scenarios, melodies are often expressed as raw singing audio or hummed recordings, where pitch is implicit, noisy, and unstructured, making these methods difficult to apply directly. To address this limitation, we propose ARIA, a two-stage audio-driven melody-tone relation modeling framework for Cantonese lyric authoring that generates Cantonese lyrics from singing recordings with provided character-level timestamps. Specifically, we first design a Tri-Stream Relation-Aware Tone Estimator (TRATE) to predict 0243 sequences from timestamped singing audio by modeling multi-stream acoustic cues and relational tonal structure. We then propose a Decoupled Retrieval-Augmented Tone-Conditioned Lyric Generator (DRA-TCLG) to generate fluent lyrics conditioned on predicted tonal plans with retrieval-enhanced lexical guidance. Moreover, we construct a large-scale aligned audio-Jyutping-0243 dataset from real Cantonese singing recordings to support this new task. Experimental results demonstrate that ARIA achieves strong performance in both 0243 prediction and tone-consistent lyric generation, validating the effectiveness of the proposed framework.