ECG-Byte: A Tokenizer for End-to-End Generative Electrocardiogram Language Modeling

📄 arXiv: 2412.14373v3 📥 PDF

作者: William Han, Chaojing Duan, Michael A. Rosenberg, Emerson Liu, Ding Zhao

分类: cs.CL, eess.SP

发布日期: 2024-12-18 (更新: 2025-07-29)

备注: 38 pages, 9 figures; Accepted to MLHC 2025

💡 一句话要点

提出ECG-Byte，用于心电图语言建模的端到端Tokenizer，提升训练效率和可解释性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心电图 语言建模 字节对编码 端到端训练 自然语言生成

📋 核心要点

  1. 现有方法通常采用两阶段训练，效率较低，且编码器生成的特征难以解释。
  2. ECG-Byte将ECG信号编码为tokens，实现ECG和文本的联合建模，支持端到端训练。
  3. 实验表明，ECG-Byte在NLG任务上表现出色，训练速度提升3倍，数据需求减少52%。

📝 摘要（中文）

本文提出ECG-Byte，一种改进的字节对编码（BPE）tokenizer pipeline，用于心电图（ECG）的自回归语言建模。ECG-Byte将ECG信号压缩并编码为tokens，从而能够通过组合ECG和文本tokens进行直接的端到端LLM训练。这种方法增强了解释性，因为ECG tokens可以直接映射回原始信号。利用ECG-Byte，在实现具有竞争力的自然语言生成（NLG）性能的同时，训练速度提高了3倍，并且仅使用了传统两阶段方法所需数据的48%。该方法克服了传统方法多阶段训练的低效性和编码器生成特征难以解释的挑战。

🔬 方法详解

问题定义：现有方法在心电图（ECG）信号的自然语言生成（NLG）任务中，通常采用两阶段训练：首先预训练一个ECG特定的编码器，然后使用编码器提取的特征微调大型语言模型（LLM）进行NLG。这种方法的主要痛点在于训练效率低，因为需要分别训练编码器和LLM，并且编码器提取的特征难以直接解释，限制了模型的可解释性。

核心思路：本文的核心思路是设计一种tokenizer，能够将ECG信号直接转换为LLM可以处理的tokens，从而实现端到端的训练。通过将ECG信号和文本都转换为tokens，可以直接训练LLM进行ECG信号的NLG，避免了多阶段训练的低效性和特征解释的困难。

技术框架：ECG-Byte的整体框架包括以下几个步骤：首先，对ECG信号进行预处理，例如降噪和归一化。然后，使用改进的字节对编码（BPE）算法将ECG信号压缩并编码为tokens。最后，将ECG tokens和文本tokens组合在一起，输入到LLM中进行训练。LLM使用自回归的方式生成文本，从而实现ECG信号的NLG。

关键创新：最重要的技术创新点在于ECG-Byte tokenizer的设计。传统的BPE算法主要用于文本数据的编码，而ECG-Byte对其进行了改进，使其能够有效地处理ECG信号。与现有方法相比，ECG-Byte避免了使用单独的编码器提取特征，而是直接将ECG信号转换为tokens，从而实现了端到端的训练，提高了训练效率和可解释性。

关键设计：ECG-Byte的关键设计包括：1) 针对ECG信号的预处理方法，例如使用滤波器进行降噪；2) 改进的BPE算法，用于将ECG信号压缩并编码为tokens；3) 合理的词表大小设置，以平衡压缩率和信息损失；4) 使用标准的Transformer架构作为LLM，并采用交叉熵损失函数进行训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用ECG-Byte进行端到端训练，在NLG任务上取得了与传统两阶段方法相当的性能，同时训练速度提高了3倍，并且仅使用了传统方法所需数据的48%。这表明ECG-Byte能够有效地压缩和编码ECG信号，并实现高效的端到端训练。

🎯 应用场景

该研究成果可应用于心电图报告的自动生成、心律失常的智能诊断、以及个性化医疗建议的生成。通过将ECG信号直接转化为自然语言描述，医生可以更快速、更准确地了解患者的病情，从而提高诊断效率和治疗效果。未来，该技术还可以扩展到其他生理信号的语言建模，例如脑电图（EEG）和肌电图（EMG）。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated exceptional versatility across domains, including applications to electrocardiograms (ECGs). A growing body of work focuses on generating text from multi-channeled ECG signals and corresponding textual prompts. Existing approaches often involve a two-stage process: pretraining an ECG-specific encoder with a self-supervised learning (SSL) objective, followed by finetuning an LLM for natural language generation (NLG) using encoder-derived features. However, these methods face two key limitations: inefficiency due to multi-stage training and challenges in interpreting encoder-generated features. To overcome these issues, we propose ECG-Byte, an adapted byte pair encoding (BPE) tokenizer pipeline for autoregressive language modeling of ECGs. ECG-Byte compresses and encodes ECG signals into tokens, enabling direct end-to-end LLM training by combining ECG and text tokens. This approach enhances interpretability, as ECG tokens can be directly mapped back to the original signals. Leveraging ECG-Byte, we achieve competitive NLG performance while training 3 times faster and using just 48\% of the data required by traditional two-stage methods.