儿童节变身小小音乐家,用 ModelArts 制作一张 AIGC 音乐专辑
![儿童节变身小小音乐家,用ModelArts制作一张AIGC音乐专辑](https://static001.geekbang.org/infoq/7c/7ce5d40d6c68be25ad065cb4af1a41aa.jpeg)
本文分享自华为云社区《儿童节变身小小音乐家,用ModelArts制作一张AIGC音乐专辑》,作者: 华为云社区精选。
儿童节,如何给小朋友准备一份特别的礼物?
这份 AIGC 音乐专辑制作攻略一定要收下
一段文字灵感就能编织出一曲悠扬悦耳的旋律
童话、梦幻、探险……
任何关键词都可以成为音乐的创意基石
在华为云 ModelArts 上,简单 4 步
小朋友就可以化身为“小小音乐家”
开启一场奇妙的 AI 音乐创作之旅
感受 AI 魔法编织的奇妙音乐体验
![](https://static001.geekbang.org/infoq/ea/ea091d60651088adac63c351c4291fc7.jpeg?x-oss-process=image%2Fresize%2Cp_80%2Fauto-orient%2C1)
一、🎵文字生成旋律,变身小小作曲家
我们的 AIGC 专辑制作先从文字生成旋律开始,基于华为云 ModelArts,无需考虑计算资源、环境的搭建,就算不懂代码也能用 AI 将简单的文字变成音乐旋律。
ModelArts 是面向开发者的一站式 AI 开发平台,为机器学习与深度学习提供海量数据预处理及交互式智能标注、大规模分布式训练、自动化模型生成,及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期 AI 工作流。
为了让开发者在云上直接进行 AI 应用的开发,ModelArts 提供 CodeLab 的开发方式,它类似一种云上编译器,可以直连云端算力,且每天都会提供免费算力资源时长,即开即用,非常便利。(注:本文所有案例均可在 CodeLab 中直接开发)
本案例使用的是开源模型 MusicGen,它可以根据文字描述或者已有旋律生成高质量的音乐(32kHz),原理是通过生成 Encodec token 然后再解码为音频。
![](https://static001.geekbang.org/infoq/20/203048813e9c2747bf6495ec8d17917c.jpeg?x-oss-process=image%2Fresize%2Cp_80%2Fauto-orient%2C1)
利用 EnCodec 神经音频编解码器来从原始波形中学习离散音频 token。EnCodec 将音频信号映射到一个或多个并行的离散 token 流。然后使用一个自回归语言模型来递归地对 EnCodec 中的音频 token 进行建模。生成的 token 然后被馈送到 EnCodec 解码器,将它们映射回音频空间并获取输出波形。最后,可以使用不同类型的条件模型来控制生成。
具体操作步骤如下:
第一步:准备账号, 注册华为云账号并完成实名认证,开启音乐之旅!
第二步:👉 访问页面, 点击「ModelArts 中运行」按钮,进入到 ModelArts CodeLab 运行环境中。选择限时免费运行环境,切换所需 Kernel,一键运行代码。
![](https://static001.geekbang.org/infoq/00/00446b0feb76cc1b9fdf8e1a6366018f.png)
第三步:切换运行环境, 选择限时免费的 GPU-P100 规格,目前每个用户每天可以享受 3 小时的免费时长。然后点击代码块前面的三角形运行按钮,即可自动运行,完成模型的加载。
![](https://static001.geekbang.org/infoq/3c/3c4d251baa1c484a457ec40365081850.gif)
▲ 切换运行环境
![](https://static001.geekbang.org/infoq/83/83efa9e37cfb74eb0aa4a9b228fdf44e.png)
▲ 点击三角形按钮运行代码
第四步: 依次运行完代码后,修改输入的 Prompt, 比如“一首充满着梦幻和童真的歌曲”,即可生成符合提示词的音乐旋律,并支持直接下载。
![](https://static001.geekbang.org/infoq/55/557d834e13f2360cc2907fcf62cea0b8.png)
▲ 修改提示词
![](https://static001.geekbang.org/infoq/53/53701da18e26ffacf839f939ca71b5cc.png)
▲点击下载生成的音乐旋律
同时,ModelArts 还支持可视化的 Gradio 界面展示,可以将生成的页面地址分享给其他人,让他们直接填入提示词,自定义旋律的时长,快速创作一首独一无二的歌曲。
![](https://static001.geekbang.org/infoq/88/88a4cccef97f6d52171ec1f2ffa3a351.png)
▲ 单独的可视化界面
二、✍️AI 作诗,为旋律作词
古有曹植七步成诗,今有 AI 自动作诗。参考“文字生成旋律案例”的步骤,👉 点击链接 选择在 ModelArts 中运行,进入到 ModelArts CodeLab 环境,然后切换资源规格,依次运行代码,并在下图的画框处填写诗句的第一个字,3 秒钟就能生成相关的诗句。
![](https://static001.geekbang.org/infoq/e2/e2011b33781ac05ef8cb7e1359b361a2.png)
![](https://static001.geekbang.org/infoq/2d/2dbe1197c40d28b86835ba06e57a76a6.png)
三、🎨AI 作画,为音乐制作专辑封面
最后是专辑封面环节,👉 点击链接 进入“AI 作画-文字生成图片 Stable Diffusion”案例页面,选择在 ModelArts 中运行,进入 ModelArts CodeLab,将运行环境切换成 GPU 的规格,模型生成图像所用的时间会更短。
这个案例主要基于文本转图像模型 Stable Diffusion 来实现,它通过 LAION-5B 子集大量的 512x512 图文模型进行训练,所以只要简单的输入一段文本,Stable Diffusion 就可以迅速将其转换为图像。
同之前的两个案例,依次运行代码,在 Prompt 的划线处填写与音乐旋律相匹配的提示词,建议先用中文描述,再用翻译软件转换为英文,这样生成的图片会更加精准。
![](https://static001.geekbang.org/infoq/17/1772d0d665b6b0870d4ab67bf29a9f90.png)
🎹结语
至此,从曲子、歌词到封面,一张 AIGC 专辑应运而生。你不必是精通音符的大师,也无需深谙乐理,只需一键启动 ModelArts,每一次灵感闪现,都会化作独一无二的旋律流淌而出。
最后祝大小朋友们儿童节快乐!
快来华为云 ModelArts 试试神奇的“AI 音乐魔法”,体验创作的乐趣,让小小音乐梦想照进现实!🎶
版权声明: 本文为 InfoQ 作者【华为云开发者联盟】的原创文章。
原文链接:【http://xie.infoq.cn/article/addded79adddd5044cb450fd7】。文章转载请联系作者。
评论