DeformTune: A Deformable XAI Music Prototype for Non-Musicians
作者: Ziqing Xu, Nick Bryan-Kinns
分类: cs.HC, cs.AI, cs.SD, eess.AS
发布日期: 2025-07-31
备注: In Proceedings of Explainable AI for the Arts Workshop 2025 (XAIxArts 2025) arXiv:2406.14485
💡 一句话要点
DeformTune：面向非音乐家的可变形XAI音乐原型系统
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: AI音乐生成 可解释AI (XAI) 触觉交互 MeasureVAE 非音乐家 原型系统 用户研究
📋 核心要点
- 现有AI音乐生成工具对非音乐家存在门槛，需要音乐知识或复杂操作。
- DeformTune结合触觉界面和MeasureVAE模型，旨在提供直观、具身和可解释的AI音乐交互。
- 初步用户研究揭示了控制映射、表达范围和指导需求等挑战，为未来设计提供了方向。
📝 摘要（中文）
现有的AI音乐生成工具通常依赖于文本提示、复杂界面或类似乐器的控制方式，这可能需要非音乐家不具备的音乐或技术知识。本文介绍DeformTune，一个将触觉可变形界面与MeasureVAE模型相结合的原型系统，旨在探索更直观、具身和可解释的AI交互。我们对11名没有接受过正规音乐训练的成年参与者进行了一项初步研究，以调查他们在使用AI辅助音乐创作方面的体验。对他们反馈的主题分析揭示了反复出现的挑战，包括不清晰的控制映射、有限的表达范围以及在使用过程中需要指导。我们讨论了增强AI可解释性的几个设计机会，包括多模态反馈和渐进式交互支持。这些发现为使AI音乐系统更具可解释性并赋能新手用户提供了早期见解。
🔬 方法详解
问题定义：现有AI音乐生成工具，如基于文本提示或乐器控制的系统，对非音乐家来说存在较高的使用门槛。这些工具往往需要用户具备一定的音乐理论知识或复杂的操作技巧，限制了非专业人士参与音乐创作的可能性。因此，如何设计一种更直观、易于理解和使用的AI音乐生成系统，是本文要解决的核心问题。
核心思路：DeformTune的核心思路是将触觉可变形界面与AI音乐生成模型相结合，通过物理形变来控制音乐的生成过程。这种方式旨在利用人类对物理世界的直觉，将抽象的音乐概念转化为可感知的物理操作，从而降低用户的使用门槛，并提供更具表现力的交互方式。同时，系统设计注重可解释性，力求让用户理解AI的决策过程。
技术框架：DeformTune系统的整体架构包含两个主要模块：触觉可变形界面和MeasureVAE模型。用户通过操作可变形界面来输入音乐创作意图，界面将形变数据传递给MeasureVAE模型。MeasureVAE模型根据接收到的数据生成相应的音乐片段，并将生成的音乐反馈给用户。系统还提供多模态反馈，例如视觉和听觉反馈，以增强用户对AI生成过程的理解。
关键创新：DeformTune的关键创新在于将触觉可变形界面与AI音乐生成模型相结合，并将其应用于音乐创作领域。这种结合方式不仅降低了用户的使用门槛，还提供了一种全新的音乐创作方式。此外，系统设计注重可解释性，通过多模态反馈和渐进式交互支持，帮助用户理解AI的决策过程。
关键设计：MeasureVAE模型是基于变分自编码器（VAE）的音乐生成模型，经过针对音乐数据的训练，能够生成具有一定音乐结构的音乐片段。触觉可变形界面的设计需要考虑用户的操作习惯和舒适度，以及形变数据与音乐参数之间的映射关系。多模态反馈的设计需要考虑如何有效地将AI的决策过程呈现给用户，例如通过视觉化的方式展示音乐的结构和变化。
🖼️ 关键图片
📊 实验亮点
该研究通过初步的用户研究，收集了11名非音乐专业人士的反馈，揭示了现有AI音乐创作工具在可解释性和易用性方面存在的挑战。研究结果表明，用户在使用DeformTune时，面临着控制映射不清晰、表达范围有限以及需要指导等问题。这些发现为未来AI音乐系统的设计提供了重要的参考依据，并指出了改进的方向。
🎯 应用场景
DeformTune具有广泛的应用前景，可用于音乐教育、音乐治疗、辅助音乐创作等领域。它可以帮助非音乐家轻松地进行音乐创作，激发他们的创造力。在音乐教育中，DeformTune可以作为一种辅助工具，帮助学生更好地理解音乐理论和创作技巧。在音乐治疗中，它可以帮助患者通过音乐表达情感，缓解压力。未来，DeformTune有望成为一种普及的音乐创作工具，赋能更多人参与音乐创作。
📄 摘要（原文）
Many existing AI music generation tools rely on text prompts, complex interfaces, or instrument-like controls, which may require musical or technical knowledge that non-musicians do not possess. This paper introduces DeformTune, a prototype system that combines a tactile deformable interface with the MeasureVAE model to explore more intuitive, embodied, and explainable AI interaction. We conducted a preliminary study with 11 adult participants without formal musical training to investigate their experience with AI-assisted music creation. Thematic analysis of their feedback revealed recurring challenge--including unclear control mappings, limited expressive range, and the need for guidance throughout use. We discuss several design opportunities for enhancing explainability of AI, including multimodal feedback and progressive interaction support. These findings contribute early insights toward making AI music systems more explainable and empowering for novice users.