Samsone: A Family of Open Small Audio Language Models for On-Device Inference

📄 arXiv: 2609.21666v1 📥 PDF

作者: Piotr Masztalski, Michał K. Grzeszczyk, Olaf Sikorski

分类: eess.AS, cs.AI

发布日期: 2026-09-18

备注: Accepted for Interspeech 2026

💡 一句话要点

提出Samsone系列小型音频语言模型以实现设备端推理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 小型音频语言模型 边缘计算 隐私保护 实时推理 多模态网络

📋 核心要点

  1. 现有的大型音频语言模型在隐私保护和低延迟处理方面存在不足，难以满足边缘计算的需求。
  2. Samsone系列模型专为设备端推理设计，采用小型音频语言模型架构，能够在保持性能的同时显著降低计算资源消耗。
  3. Samsone-134M在多个基准测试中表现优异，超越同类模型，且与更大模型的性能相当，展示了小型模型的潜力。

📝 摘要（中文）

大型音频语言模型的成功推动了数十亿参数的多模态网络的发展。然而，出于对隐私保护和低延迟处理的需求，小型音频语言模型（SALMs）逐渐成为研究重点。本文介绍了Samsone，一个为边缘计算设计的SALM系列。我们的核心模型Samsone-134M在多个基准测试中树立了同类模型的新标杆。我们还通过引入Samsone-99M和Samsone-356M探讨了SALMs的扩展规律。尽管体积紧凑，Samsone系列的性能与数量级更大的模型相当。为了促进开放研究和可重复性，我们在公开数据上训练Samsone，并发布了训练代码、模型权重、移动优化检查点，以及一个开源的Android应用程序，以展示Samsone的实时设备端推理能力。

🔬 方法详解

问题定义：本文旨在解决大型音频语言模型在隐私保护和低延迟处理方面的不足，尤其是在边缘计算环境中的应用挑战。现有方法通常需要大量计算资源，难以在移动设备上高效运行。

核心思路：Samsone系列模型通过优化模型架构和参数设置，设计出适合设备端推理的小型音频语言模型，旨在在保持高性能的同时降低计算需求。

技术框架：Samsone系列包括多个模型（如Samsone-99M、Samsone-134M和Samsone-356M），采用统一的训练流程和优化策略，确保在不同规模下的性能一致性。模型训练使用公开数据集，促进了研究的开放性。

关键创新：Samsone系列在小型音频语言模型的设计上实现了性能与规模的平衡，特别是Samsone-134M在多个基准测试中设立了新的性能标杆，展示了小型模型的竞争力。

关键设计：模型采用了高效的网络结构和参数设置，损失函数经过精心设计，以适应小型模型的训练需求。具体的参数设置和网络细节在论文中有详细描述。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

Samsone-134M在多个基准测试中表现出色，成为同类模型中的新标杆。与其他大型模型相比，Samsone系列在性能上保持竞争力，同时显著降低了计算资源需求，展示了小型音频语言模型的巨大潜力。

🎯 应用场景

Samsone系列模型的潜在应用领域包括移动设备上的语音识别、实时翻译和语音助手等。其低延迟和高效能的特点使其在隐私敏感的场景中尤为重要，未来可广泛应用于智能家居、车载系统等多个领域。

📄 摘要（原文）

The success of Large Audio Language Models has driven the development of massive multimodal networks exceeding billions of parameters. However, the demand for privacy-preserving, low-latency processing has shifted focus toward Small Audio Language Models (SALMs) capable of on-device execution. In this paper, we introduce Samsone, a family of SALMs designed for edge computing. Our core model, Samsone-134M, establishes a new state-of-the-art for its size class across multiple benchmarks. We further explore the scaling laws of SALMs by introducing Samsone-99M and Samsone-356M. Despite their compact footprint, the Samsone family delivers performance competitive with models orders of magnitude larger. To foster open research and reproducibility, we train Samsone on publicly available data. We release the training code, model weights, mobile-optimized checkpoints and provide an open-source Android application to demonstrate real-time on-device inference of Samsone.