来自音乐行业的ChatGPT开源了,Meta发布AI音乐模型MusicGen

博主:starsstars 2023-06-15 367 0条评论

从AI蕾哈娜到AI孙燕姿,与AI有关的UGC内容大爆炸几乎把全世界的音乐行业从业者和艺术家都“震翻了”。

最近,Facebook母公司Meta在Github 上开源了AI 模型 MusicGen,再度成为震撼市场的一则新闻。(回顾:)

据了解,Meta发布的这一款名为MusicGen的AI工具可以根据用户输入的文字提示,生成12秒钟的新音乐片段。这个工具由Meta的Audiocraft研究团队开发,他们将其描述为“一个简单而可控的音乐生成模型”,可以使用旋律提示来生成新音乐。

那么,MusicGen究竟如何生成音乐?

据报道,它是基于一个语言模型,也就是一个可以理解和生成自然语言的AI系统。这个语言模型是通过大量的音乐数据进行训练的,以便它能够学习音乐的规律和特征。

Meta表示,他们使用了2万小时的授权音乐来训练MusicGen,其中包括1万首“高质量”的授权音乐曲目,以及来自ShutterStock和Pond5这两个大型素材库的39万首纯乐器曲目。(回顾:)

当用户输入一个文字提示,比如“欢快的民谣”,MusicGen就会根据这个提示,在内部生成一个旋律,并将其转化为音频输出。用户可以听到生成的音乐,并决定是否保存或重新开始。MusicGen还可以使用旋律提示来生成新音乐,也就是说,用户可以输入一首已有的曲调,MusicGen就会在此基础上创作出一首新的歌曲。

根据一些媒体和用户的评价,虽然还无法与人类艺术家相匹敌,但MusicGen生成的音乐还不错,至少对于一些基本的文字提示,它能够产出比较符合要求和风格的歌曲。此外,MusicGen与谷歌之前发布的类似工具MusicLM相比,并没有明显落后。但的确目前它只能生成12秒钟的片段,并不能构成一首完整而精彩的歌曲。

今年1月,谷歌推出了一款实验性人工智能工具MusicLM,可以从文本提示和哼唱中生成高保真音乐,并于上个月向公众发布。据相关媒体介绍,谷歌的模型接受了500万个音频片段的训练,总计28万小时的24千赫音乐。

谷歌解释称,在公共使用层面,其MusicLM工具通过输入诸如“晚宴的深情爵士乐”之类的提示来工作。之后,MusicLM模型将为输入提示的人创建所请求歌曲的两个版本。然后你可以投票选出你喜欢的,谷歌称这将“有助于改进人工智能模型”。(回顾:)

值得注意的是,Meta的研究人员还发表了一篇论文,概述了训练模型的工作。在论文中,他们讲述了围绕生成式人工智能模型开发的伦理挑战。

根据论文内容,研究团队“首先确保他们训练的所有数据都包含在与权利人的法律协议中,特别是通过与ShutterStock的协议”。其次是他们使用的数据集可能缺乏多样性,其中包含了更大比例的西式音乐。不过,他们相信在这项工作中的简化操作,如使用单阶段语言模型和减少自动回归步骤的数量,可以帮助将应用扩展到新的数据集。”

论文强调的另一个挑战是“生成模型可能代表艺术家的不公平竞争,这是一个开放的问题。开放研究可以确保所有参与者都有平等的机会使用这些模型。通过开发更先进的控制,比如旋律调节,这些模型对音乐爱好者和专业人士都有用。”

Meta进行人工智能音乐研究的消息传出之时,正值人们对在音乐行业中使用生成式人工智能感到越来越不安之际,原因是版权侵权问题以及每天向流媒体平台提供大量内容的问题。

今年4月,模仿超级明星歌手声音的人工智能制作的音乐作品占据了各大媒体的头条。一首名为《heart on my sleeve》的歌曲模仿了公鸭哥和盆栽哥的声音,在网上疯传。

这首歌由ghostwriter上传,随后从YouTube、Spotify和其他平台上删除。在YouTube上,ghostwriter的YouTube上传页面已经确认了这首歌从该平台下架的原因。上面写着:“由于环球音乐集团的版权要求,这段视频将不再可用。”

环球音乐集团首席执行官兼董事长Lucian Grainge在四月份的财报电话会议上指出:“与其前辈不同,许多最新的生成式人工智能都是根据受版权保护的材料进行训练的,这显然侵犯了艺术家和唱片公司的权利,并将使平台与我们、我们的艺人以及那些推动成功的人的合作关系完全背道而驰。

随着人工智能平台的兴起,用户只需点击一个按钮就可以创建大量曲目,这也暴露了生成式人工智能被用于流媒体欺诈的可能性。(回顾:)

通过生成式AI音乐应用程序,欺诈者可以创建大量音频内容并将其上传到流媒体平台,目的是通过机器人驱动的“流媒体黑产”积累大量的内容播放。

今年4月,Spotify从其服务中删除了大量曲目,其中许多是通过AI音乐制作平台Boomy创建的,理由则是“潜在的流媒体操纵案例”。


微信扫一扫
The End

发布于:2023-06-15,除非注明,否则均为柠檬博客原创文章,转载请注明出处。