如何使用Facebook的MusicGen将文本转换成音乐？ 译文

MusicGen允许任何人只需借助文本提示即可生成原创音乐。本指南逐步介绍如何使用这种创造性的AI模型来改进音乐工作流程。

在创作新歌时，是否遇到过创作障碍？或者您想要一个AI助手来帮助构思新的旋律和和声？Facebook的MusicGen模型让音乐创意和试验变得快捷又容易。

不妨看一下：

• MusicGen从文本生成音乐的能力。

• 通过Replicate的API使用MusicGen的逐步说明。

• 借助AIModels.fyi找到相似的音乐作曲模型。

挖掘下MusicGen如何为音乐家、作曲家和任何想要创作独特的成品音乐的人发掘新的创作可能性。

借助文本提示生成原创音乐

MusicGen允许您只需通过文本描述情绪、流派、乐器等要素来构思音乐创意。下面有几个创造性的方法，您可以利用文本生成音乐：

• 克服创作障碍——当您思路卡住的时候，根据文字描述想出新的旋律或和声的想法。

• 实验和迭代——通过调整文本提示，轻松尝试各种变化。

• 探索新的流派——创作自己不太熟悉的音乐风格。

• 制作背景音乐——为视频、播客或游戏等制作自定义的背景音乐。

• 混音旋律——用现有的旋律来调教模型，以生成不一样的旋律。

MusicGen提供长达8秒的生产级剪辑，可以选择.mp3或.wav格式。样品可以用作鼓舞人心的素材或直接添加到作品中。

MusicGen模型介绍

MusicGen是Facebook的AI研究团队于2023年创建的。这是一种自动回归的Transformer模型，拿授权的音乐数据进行训练。

该模型可以生成4个平行的旋律流，代表不同的音乐元素，比如低音、鼓、和声等。这种结构使它能够生成流派和风格各异的音乐上连贯的作品。

MusicGen提供了几种不同大小的模型。Replicate上使用的基本模型是“Melody”（旋律），它针对文本生成为音频进行了优化。还有一个更大的模型针对旋律延续进行了优化。

您可以在Facebook Research论文和项目GitHub页面上了解更多关于模型架构的细节。

模型的局限性

与所有AI模型一样，MusicGen也存在一些局限性：

• MusicGen的输出受提供的提示和旋律的影响。创造性的输入可以大大地影响已生成作品的质量和独特性。

• 模型的训练数据影响其音乐风格和输出。它可能无法完美地复制每一种音乐流派或风格。

• MusicGen生成的音乐可能需要后期处理，才能达到所需的那种完善程度。

了解这些局限性将帮助您在保持期望（或客户的期望）合理的同时充分利用MusicGen。

了解MusicGen的输入和输出

输入

• model_version：选择要生成的模型版本（比如“melody”、“large”、“encode-decode”）。

• prompt：提供您想要生成的音乐的描述。

• input_audio：通过提供音频文件，影响已生成的音乐。

• duration：指定已生成音频的时长。

• continuation：选择已生成的音乐是否应该延续输入音频的旋律。

• 其他参数（比如top_k、top_p、temperature等）允许您对输出进行微调。

输出

输出模式是一个字符串，表示指向已生成的音频文件的URI。

使用MusicGen模型的逐步指南

在本节中，我们将详细地逐步介绍如何有效地使用MusicGen模型以生成音乐作品。每一个步骤都附有特定的代码片段，并解释了当前发生的事情。

第1步：安装Node.js客户软件

首先，您需要安装用于Replicate的Node.js客户软件。该客户软件将使您能够与Replicate API进行交互，并运行MusicGen模型。

npm install replicate1.

这个命令安装名为“replicate”的必要的Node.js软件包。

第2步：设置API令牌

在访问Replicate API之前，需要将API令牌设置为环境变量。这个令牌将验证您对API的请求。

export REPLICATE_API_TOKEN=your_api_token1.

将your_api_token换成实际的Replicate API令牌。

第3步：运行模型，并生成音乐

现在，不妨运行MusicGen模型，根据指定的输入生成音乐作品。我们将使用Node.js客户软件发出API请求。

import Replicate from "replicate";// Create a Replicate client instanceconst replicate = new Replicate({
 auth: process.env.REPLICATE_API_TOKEN,});// Define input parameters for the modelconst modelVersion = "melody";const prompt = "Expressive piano melody";const duration = 10; // Duration of the generated audio in seconds// Run the MusicGen modelconst output = await replicate.run(
 "facebookresearch/musicgen:7a76a8258b23fae65c5a22debb8841d1d7e816b75c2f24218cd2bd8573787906",
 {
 input: {
 model_version: modelVersion,
 prompt: prompt,
 duration: duration,
 // Other input parameters here
 },
 });console.log("Generated audio URI:", output);1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.23.24.25.26.

在这个代码片段中：

• 我们从安装的Node.js软件包中导入Replicate类。

• 我们使用API令牌创建了Replicate客户软件的实例。

• 我们为音乐创作定义了modelVersion、prompt和duration。

• 我们使用replication .run()方法运行带指定输入的MusicGen模型。

• 已生成的音频URI被记录到控制台。

第4步：浏览已生成的音频

运行模型后，您将收到一个指向已生成的音乐作品的音频URI。您可以使用这个URI访问和浏览已生成的音频。

就是这样！至此，您已经成功地利用MusicGen模型基于输入创建了一个音乐作品。

结论

恭喜！您已经成功地完成了使用MusicGen模型进行音乐创作的逐步指南。如果遵循这些步骤，您可以利用AI的强大功能来生成独特而有创意的音乐作品。在您继续探究AI驱动的音乐世界时，请不要犹豫，尝试不同的输入和参数，以探索广泛的音乐可能性。如果您有任何问题或需要进一步的帮助，请随时联系，或参阅本指南中提到的资源。祝使用AI快乐地创作音乐！

原文标题：How to turn text into music with Facebook's MusicGen，作者：Mike Young