写点什么

儿童节变身小小音乐家,用 ModelArts 制作一张 AIGC 音乐专辑

  • 2024-05-31
    广东
  • 本文字数:1633 字

    阅读完需:约 5 分钟

儿童节变身小小音乐家,用ModelArts制作一张AIGC音乐专辑

本文分享自华为云社区《儿童节变身小小音乐家,用ModelArts制作一张AIGC音乐专辑》,作者: 华为云社区精选。


儿童节,如何给小朋友准备一份特别的礼物?

这份 AIGC 音乐专辑制作攻略一定要收下

一段文字灵感就能编织出一曲悠扬悦耳的旋律

童话、梦幻、探险……

任何关键词都可以成为音乐的创意基石

在华为云 ModelArts 上,简单 4 步

小朋友就可以化身为“小小音乐家”

开启一场奇妙的 AI 音乐创作之旅

感受 AI 魔法编织的奇妙音乐体验


一、🎵文字生成旋律,变身小小作曲家


我们的 AIGC 专辑制作先从文字生成旋律开始,基于华为云 ModelArts,无需考虑计算资源、环境的搭建,就算不懂代码也能用 AI 将简单的文字变成音乐旋律。


ModelArts 是面向开发者的一站式 AI 开发平台,为机器学习与深度学习提供海量数据预处理及交互式智能标注、大规模分布式训练、自动化模型生成,及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期 AI 工作流。


为了让开发者在云上直接进行 AI 应用的开发,ModelArts 提供 CodeLab 的开发方式,它类似一种云上编译器,可以直连云端算力,且每天都会提供免费算力资源时长,即开即用,非常便利。(注:本文所有案例均可在 CodeLab 中直接开发)


本案例使用的是开源模型 MusicGen,它可以根据文字描述或者已有旋律生成高质量的音乐(32kHz),原理是通过生成 Encodec token 然后再解码为音频。



利用 EnCodec 神经音频编解码器来从原始波形中学习离散音频 token。EnCodec 将音频信号映射到一个或多个并行的离散 token 流。然后使用一个自回归语言模型来递归地对 EnCodec 中的音频 token 进行建模。生成的 token 然后被馈送到 EnCodec 解码器,将它们映射回音频空间并获取输出波形。最后,可以使用不同类型的条件模型来控制生成。


具体操作步骤如下:


第一步:准备账号, 注册华为云账号并完成实名认证,开启音乐之旅!


第二步:👉 访问页面 点击「ModelArts 中运行」按钮,进入到 ModelArts CodeLab 运行环境中。选择限时免费运行环境,切换所需 Kernel,一键运行代码。



第三步:切换运行环境, 选择限时免费的 GPU-P100 规格,目前每个用户每天可以享受 3 小时的免费时长。然后点击代码块前面的三角形运行按钮,即可自动运行,完成模型的加载。


▲ 切换运行环境


▲ 点击三角形按钮运行代码


第四步: 依次运行完代码后,修改输入的 Prompt, 比如“一首充满着梦幻和童真的歌曲”,即可生成符合提示词的音乐旋律,并支持直接下载。


▲ 修改提示词


▲点击下载生成的音乐旋律


同时,ModelArts 还支持可视化的 Gradio 界面展示,可以将生成的页面地址分享给其他人,让他们直接填入提示词,自定义旋律的时长,快速创作一首独一无二的歌曲。


▲ 单独的可视化界面

二、✍️AI 作诗,为旋律作词


古有曹植七步成诗,今有 AI 自动作诗。参考“文字生成旋律案例”的步骤,👉 点击链接 选择在 ModelArts 中运行,进入到 ModelArts CodeLab 环境,然后切换资源规格,依次运行代码,并在下图的画框处填写诗句的第一个字,3 秒钟就能生成相关的诗句。



三、🎨AI 作画,为音乐制作专辑封面


最后是专辑封面环节,👉 点击链接 进入“AI 作画-文字生成图片 Stable Diffusion”案例页面,选择在 ModelArts 中运行,进入 ModelArts CodeLab,将运行环境切换成 GPU 的规格,模型生成图像所用的时间会更短。


这个案例主要基于文本转图像模型 Stable Diffusion 来实现,它通过 LAION-5B 子集大量的 512x512 图文模型进行训练,所以只要简单的输入一段文本,Stable Diffusion 就可以迅速将其转换为图像。


同之前的两个案例,依次运行代码,在 Prompt 的划线处填写与音乐旋律相匹配的提示词,建议先用中文描述,再用翻译软件转换为英文,这样生成的图片会更加精准。


🎹结语


至此,从曲子、歌词到封面,一张 AIGC 专辑应运而生。你不必是精通音符的大师,也无需深谙乐理,只需一键启动 ModelArts,每一次灵感闪现,都会化作独一无二的旋律流淌而出。


最后祝大小朋友们儿童节快乐!


快来华为云 ModelArts 试试神奇的“AI 音乐魔法”,体验创作的乐趣,让小小音乐梦想照进现实!🎶


点击关注,第一时间了解华为云新鲜技术~

发布于: 2024-05-31阅读数: 3
用户头像

提供全面深入的云计算技术干货 2020-07-14 加入

生于云,长于云,让开发者成为决定性力量

评论

发布
暂无评论
儿童节变身小小音乐家,用ModelArts制作一张AIGC音乐专辑_人工智能_华为云开发者联盟_InfoQ写作社区