关于Stable Audio的发布

Harmonai，作为Stability AI的音频研究实验室，发布了名为Stable Audio的文本控制音频生成扩散模型。该模型基于19,500小时的音频数据训练，能够在单个NVIDIA A100 GPU上实时生成44.1kHz的高质量音频。

Stable Audio的核心技术

Stable Audio采用与Stable Diffusion相似的U-Net扩散模型，用户可以输入描述所需音频的文本提示，并指定输出长度（以秒为单位）。模型能够生成单一乐器、完整乐团或环境音效（如人群噪音）。

生成式AI在音频领域的进展

随着生成式AI在文本和图像领域的进步，音乐生成模型也得到发展。OpenAI的MuseNet基于GPT-2生成MIDI音符序列，Google的MusicLM和Meta的MusicGen则类似于自回归语言模型，但输出音频标记而非文本标记。2022年，出现了多个基于扩散的音乐生成模型，包括Harmonai的早期项目Dance Diffusion和Riffusion。

Stable Audio的技术细节

Stable Audio使用预训练模型CLAP将用户文本提示映射到与音乐特征共享的嵌入空间，类似于Stable Diffusion中的CLIP。这些特征向量、输出长度嵌入和噪声向量被输入到970M参数的降噪U-Net模型中，该系统基于Moûsai。生成的潜在空间表示通过变分自编码器（VAE）Descript Audio Codec转换为音频。

用户反馈与商业前景

多位用户在X（原Twitter）上对Stable Audio的发布发表了评论。AudioCipher创始人Ezra Sandzer-Bell分享了一份详细的使用指南。Stability AI CEO Emad Mostaque表示，这是首个商业许可的音乐模型和平台，虽然仍处于实验阶段，但预计将快速发展，使用户能够创建任何想象的音频，并整合自己的数据。

开源与免费使用

尽管Stable Audio目前不是开源的，但Harmonai表示将发布基于Stable Audio的开源模型以及训练自定义模型的代码。Harmonai的Github账户包含Moûsai仓库的分支。Stable Audio网站提供免费层级，用户每月可进行最多20次生成，但仅限于非商业用途。