SpeakerLLM: A Speaker-Specialized Audio-LLM for Speaker Understanding and Verification Reasoning

📄 arXiv: 2605.15044v1 📥 PDF

作者: KiHyun Nam, Jungwoo Heo, Siu Bae, Ha-Jin Yu, Joon Son Chung

分类: cs.SD, cs.AI, cs.LG, cs.MM, eess.AS

发布日期: 2026-05-14

💡 一句话要点

提出SpeakerLLM：一个面向说话人理解和验证推理的说话人专用音频LLM

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音频LLM 说话人验证 说话人理解 分层Tokenizer 验证推理 自然语言界面 语音识别

📋 核心要点

  1. 现有音频LLM在说话人理解方面存在不足，无法有效整合说话人身份、声音特征和录音条件等信息。
  2. SpeakerLLM通过分层说话人tokenizer和验证推理框架，在自然语言界面中统一了说话人profile、录音条件理解和说话人验证。
  3. 实验表明，SpeakerLLM在说话人profile理解和录音条件理解方面优于通用音频LLM，并能生成可解释的验证决策轨迹。

📝 摘要（中文）

随着音频优先代理在物理AI、对话机器人和无屏幕可穿戴设备中日益普及，音频大型语言模型（audio-LLM）必须整合说话人特定的理解，以支持用户授权、个性化和上下文感知的交互。这需要建模谁在说话、声音听起来如何，以及录音条件如何影响说话人线索。传统的说话人验证系统提供强大的标量分数，但几乎没有语言证据，而当前的audio-LLM和说话人感知语言模型在组织说话人信息方面的能力有限，仅限于二元标签或描述性配置文件。我们提出了SpeakerLLM，一个说话人专用的audio-LLM框架，它统一了单句说话人分析、录音条件理解、语句对说话人比较，以及在自然语言界面中组织证据的验证推理。我们构建了验证推理目标和一个决策组合策略，该策略将profile级别的证据与最终的相同或不同决策分开，并将录音条件、profile证据和决策组织成一个结构化的轨迹。SpeakerLLM的核心是使用分层说话人tokenizer，旨在捕获多个粒度的说话人证据。语句级别的说话人嵌入总结了身份和profile级别的线索，而帧级别的说话人特征保留了细粒度的声学描述符。实验表明，SpeakerLLM-Base改进了通用audio-LLM的说话人profile和录音条件理解，而SpeakerLLM-VR保留了强大的生成判决准确性，并生成了基于监督验证推理模式的决策轨迹。我们将发布元数据丰富的监督数据集和目标构建代码，以实现可重复性。

🔬 方法详解

问题定义：现有音频LLM在说话人理解方面存在局限性，无法充分利用说话人身份、声音特征以及录音条件等信息进行用户授权、个性化和上下文感知交互。传统的说话人验证系统缺乏语言证据，而现有的音频LLM和说话人感知语言模型在组织说话人信息方面能力有限，通常仅限于二元标签或描述性profile。

核心思路：SpeakerLLM的核心思路是构建一个说话人专用的音频LLM，通过分层说话人tokenizer捕获不同粒度的说话人证据，并结合验证推理框架，将说话人profile、录音条件理解和说话人验证统一在一个自然语言界面中。这样设计的目的是为了提高说话人理解的准确性和可解释性。

技术框架：SpeakerLLM的整体框架包含以下几个主要模块：1) 分层说话人Tokenizer：用于提取不同粒度的说话人特征，包括语句级别的说话人嵌入和帧级别的声学描述符。2) 验证推理模块：用于组织profile级别的证据，并进行最终的相同或不同决策。3) 决策组合策略：将录音条件、profile证据和决策组织成一个结构化的轨迹，提供可解释的验证过程。

关键创新：SpeakerLLM的关键创新在于其分层说话人tokenizer和验证推理框架。分层tokenizer能够捕获不同粒度的说话人特征，而验证推理框架则能够将profile级别的证据与最终决策分离，并提供可解释的决策轨迹。与现有方法相比，SpeakerLLM能够更全面、更准确地理解说话人信息，并提供更具解释性的验证结果。

关键设计：SpeakerLLM的关键设计包括：1) 分层说话人Tokenizer的结构，如何提取语句级别和帧级别的说话人特征。2) 验证推理模块的推理规则和目标构建方法。3) 决策组合策略的具体实现，如何将录音条件、profile证据和决策组织成结构化的轨迹。论文中还提到将发布元数据丰富的监督数据集和目标构建代码，以实现可重复性，但具体参数设置、损失函数、网络结构等技术细节未知。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，SpeakerLLM-Base在说话人profile和录音条件理解方面优于通用音频LLM。SpeakerLLM-VR在保持高生成判决准确率的同时，能够生成基于监督验证推理模式的决策轨迹，提高了验证结果的可解释性。具体的性能数据和提升幅度未知。

🎯 应用场景

SpeakerLLM具有广泛的应用前景，包括但不限于：对话机器人中的用户身份验证和个性化服务、智能家居设备中的语音控制和安全访问、可穿戴设备中的上下文感知交互等。该研究有助于提升人机交互的自然性和安全性，并推动音频AI技术的发展。

📄 摘要（原文）

As audio-first agents become increasingly common in physical AI, conversational robots, and screenless wearables, audio large language models (audio-LLMs) must integrate speaker-specific understanding to support user authorization, personalization, and context-aware interaction. This requires modeling who is speaking, how the voice sounds, and how recording conditions affect speaker cues. Conventional speaker verification systems provide strong scalar scores but little linguistic evidence, while current audio-LLMs and speaker-aware language models have limited ability to organize speaker information beyond binary labels or descriptive profiles. We present SpeakerLLM, a speaker-specialized audio-LLM framework that unifies single-utterance speaker profiling, recording-condition understanding, utterance-pair speaker comparison, and evidence-organized verification reasoning within a natural-language interface. We construct verification-reasoning targets and a decision-composition policy that separate profile-level evidence from the final same-or-different decision and organize recording condition, profile evidence, and the decision into a structured trace. At its core, SpeakerLLM uses a hierarchical speaker tokenizer designed to capture multiple granularities of speaker evidence. Utterance-level speaker embeddings summarize identity and profile-level cues, whereas frame-level speaker features preserve fine-grained acoustic descriptors. Experiments show that SpeakerLLM-Base improves speaker-profile and recording-condition understanding over general audio-LLMs, while SpeakerLLM-VR preserves strong generated-verdict accuracy and produces decision traces grounded in the supervised verification reasoning schema. We will release the metadata-enriched supervision dataset and target-construction code for reproducibility.