Large Generative Model-assisted Talking-face Semantic Communication System

📄 arXiv: 2411.03876v1 📥 PDF

作者: Feibo Jiang, Siwei Tu, Li Dong, Cunhua Pan, Jiangzhou Wang, Xiaohu You

分类: cs.IT, cs.LG

发布日期: 2024-11-06

💡 一句话要点

提出基于大生成模型的说话人面部语义通信系统，提升带宽利用率和用户体验。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语义通信 说话人面部 生成模型 大型语言模型 知识库 语音识别 视频重建

📋 核心要点

  1. 现有说话人面部语义通信系统面临带宽利用率低、语义理解模糊以及用户体验不佳等挑战。
  2. 利用大型生成模型，构建发送端的语义提取器和接收端的语义重构器，并引入知识库进行语义校正。
  3. 仿真结果验证了所提LGM-TSC系统的可行性与有效性，表明其在提升通信质量方面的潜力。

📝 摘要（中文）

本文提出了一种基于大生成模型辅助的说话人面部语义通信(LGM-TSC)系统，旨在解决当前说话人面部语义通信系统中存在的带宽利用率低、语义模糊和体验质量(QoE)下降等问题。该系统在发送端引入了基于FunASR模型的生成式语义提取器(GSE)，将语义稀疏的说话人面部视频转换为信息密度高的文本。同时，建立了一个基于大型语言模型(LLM)的私有知识库(KB)，用于语义消歧和校正，并结合了知识库-语义-信道联合编码方案。在接收端，提出了一个生成式语义重构器(GSR)，利用BERT-VITS2和SadTalker模型将文本转换回高质量的、具有用户音色的说话人面部视频。仿真结果表明了所提出的LGM-TSC系统的可行性和有效性。

🔬 方法详解

问题定义：现有的说话人面部语义通信系统在传输说话人视频时，存在带宽利用率不高的问题，因为直接传输视频数据会占用大量带宽。此外，语义理解的模糊性以及重建视频质量不高也影响了用户体验。因此，需要一种能够高效压缩视频信息，准确传递语义，并重建高质量视频的通信系统。

核心思路：本文的核心思路是利用大型生成模型强大的语义理解和生成能力，将说话人面部视频转换为高信息密度的文本表示，从而降低带宽需求。同时，通过构建私有知识库来消除语义歧义，并利用生成模型在接收端重建高质量的说话人面部视频。这种方法旨在提高带宽利用率，保证语义准确性，并提升用户体验。

技术框架：LGM-TSC系统主要包含三个模块：生成式语义提取器(GSE)、知识库辅助的语义编码和生成式语义重构器(GSR)。在发送端，GSE将说话人面部视频转换为文本。然后，利用基于LLM的私有知识库进行语义消歧和校正，并进行联合编码。在接收端，GSR将文本转换回高质量的说话人面部视频。

关键创新：该系统的关键创新在于：1) 引入了基于FunASR模型的GSE，能够有效地将视频转换为文本；2) 构建了基于LLM的私有知识库，用于语义消歧和校正；3) 提出了基于BERT-VITS2和SadTalker模型的GSR，能够重建高质量的说话人面部视频。与传统方法相比，该系统能够更有效地利用带宽，并提供更好的用户体验。

关键设计：GSE使用FunASR模型进行语音识别和文本转换。私有知识库基于LLM构建，用于存储和检索相关知识。联合编码方案结合了知识库信息、语义信息和信道编码。GSR使用BERT-VITS2模型进行文本到语音的转换，并使用SadTalker模型生成说话人面部视频。具体的参数设置和损失函数选择可能需要根据实际应用场景进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

仿真结果表明，所提出的LGM-TSC系统能够有效地将说话人面部视频转换为文本，并在接收端重建高质量的视频。虽然论文中没有给出具体的性能数据和对比基线，但强调了该系统在可行性和有效性方面的优势。未来的研究可以进一步量化该系统的性能提升，并与其他现有方法进行比较。

🎯 应用场景

该研究成果可应用于视频会议、远程教育、虚拟主播、数字人等领域。通过降低带宽需求，可以在网络条件较差的环境下实现流畅的说话人面部视频通信。同时，高质量的视频重建可以提升用户体验，使得远程交流更加自然和高效。未来，该技术有望进一步应用于移动通信、物联网等领域。

📄 摘要（原文）

The rapid development of generative Artificial Intelligence (AI) continually unveils the potential of Semantic Communication (SemCom). However, current talking-face SemCom systems still encounter challenges such as low bandwidth utilization, semantic ambiguity, and diminished Quality of Experience (QoE). This study introduces a Large Generative Model-assisted Talking-face Semantic Communication (LGM-TSC) System tailored for the talking-face video communication. Firstly, we introduce a Generative Semantic Extractor (GSE) at the transmitter based on the FunASR model to convert semantically sparse talking-face videos into texts with high information density. Secondly, we establish a private Knowledge Base (KB) based on the Large Language Model (LLM) for semantic disambiguation and correction, complemented by a joint knowledge base-semantic-channel coding scheme. Finally, at the receiver, we propose a Generative Semantic Reconstructor (GSR) that utilizes BERT-VITS2 and SadTalker models to transform text back into a high-QoE talking-face video matching the user's timbre. Simulation results demonstrate the feasibility and effectiveness of the proposed LGM-TSC system.