浙大AI“余音”来了！它要为亚运会会歌作曲

Dynpro

如果在2022年第19届亚运会的现场， 你听到的会歌不仅传递着不同国家的民族特色，还带有一些智能科技的新元素，会不会突然充满 热血与 归属感？
多曲旋律结合并非易事，但作为浙江大学AI+艺术领域的一大成就——“余音” ，正努力实现这一目标，并跟一众参 赛创作人员一起参与着亚运会会歌征集活动。
“余音”目前还在积极导入相关民族、体育等元素扩充着音乐库，优化音乐算法，加紧创作“亚运会会歌”。在未来，它还可能应用到更多的音乐设计中。 这么有艺术感的人工智能，到底是如何为音乐赋能的呢？

智能作曲过程展示
可实现多种国家风格会歌编排
针对APP、酒店进行个性化推荐
杭州2022年第19届亚运会音乐作品第一阶段征集通道在六月时已经向公众开放，浙江大学计算机科学与技术学院副教授张克俊和他的团队也将带“余音”参加此次征集活动。
“余音”，取自成语“余音绕梁”，由浙江大学人工智能省部共建协同创新中心、阿里巴巴-浙江大学前沿技术联合研究中心联合研发。它属于音乐创作人工智能，只需要导入视频、图片，便可以自动生成符合相关情境的音乐。
先前，“余音”团队曾导入亚运会“三宝”照片及视频进行配乐生成，两分钟后一段原创曲目诞生——曲目风格轻快明亮，和“三宝”青春洋溢的形象较为吻合。
“余音“团队负责人张克俊副教授说：“目前‘余音’主要通过识别视频中的情境相关属性，再根据现有系统数据里的音乐素材去创造符合视频情境的音乐，用音乐将先前无声视频文件合成为有声视频（vlog）。”

余音平台首页+余音功能展示
团队目前将智能音乐创作中用到的乐器限定在这五种——钢琴、吉他、低音贝斯、弦乐与鼓，这也是目前配乐中常见的乐器搭配，“大部分是三到五种组合在一起，但之后亚运会会歌的制作，会适当融入更多的民族乐器元素。”
五年前，团队就开始积累中国民乐数据，现在已有一个较为全面的“民族音乐库”。近期，“余音”团队正汇聚东南亚、韩国、日本等国的民族特色音乐。
“除了多乐器音乐生成外，我们还将尝试在创作中融入国家特色，并应用于亚运会相关App比如酒店、餐饮及运动场馆等相关的App中，提供个性化定制服务”，团队希望“余音”能让每一个国家的人即使身处异乡，也能在使用软件或进入房间时听到他们“专属的亚运音乐”，感受到自家风格的熟悉旋律。
除了民族音乐，该团队也会继续收集含体育竞赛元素的曲子比如奥运会《我和你》《Hand in hand（手拉手）》以及花样游泳、啦啦操等代表性运动的曲目，以实现会歌风格的融合。
团队期望，“‘余音’取得初步成果后，能和亚运会官方进一步沟通，进而做出让大家满意的作品。”
音乐生成“万花筒”
只需要一段视频、一张图片
目前“余音”还属于研究型产品，从数据库检索或生成音乐片段这一步非常迅速，只需要几秒；但是合成有声Vlog比较耗时，“如果导入Vlog有一分钟，那最终版有声Vlog导出也需要一分钟左右，系统合成速度与视频时长相关。”
“余音”识别应用情境分两步，首先是浅层理解，主要根据图片或视频包含的主要色彩及亮度进行配乐。“比如亚运会三宝‘江南忆’的颜色明亮度都较高，那它对应的音乐通常比较明快、活泼。”
接着，“余音”就需要去识别物体或人物的特点、状态等信息。团队希望系统会关注物体运动变化的关键帧，分析出一些关键属性（如节奏点）去驱动音乐检索或生成。
但是在真实场景中，“目前“余音”在第二步中的准确率和效率还有待提高。”不过，随着“余音”训练数据的不断积累和算法的优化，这些问题将有望逐步被解决。
此外，“余音”可以基于大数据，高效计算出如常用和弦、百搭和弦等，甚至发现潜在“乐理”， 促进乐理理论的发展和应用。
“目前，AI音乐生成的机制更像是一个万花筒，可以在短时间内生成数以万计的音乐，但可控性还较差。”团队提出，如果把曲子拆分成四段，即便每一段旋律单独听都不错，但合在一起也可能十分突兀。因此，在有声vlog生成后，有时还需要进行必要的人工润色。

“余音”参展第22届中国国际工业博览会院士专家创新成果展
“余音”团队功夫深
年底产品也将从实验室走出来
团队中不少学生都具有音乐相关的兴趣和特长，“‘余音’团队一共21人，其中大部分都来自于计算机科学与技术、数字媒体以及设计学相关专业。”
有趣的是，“团队大部分的成员也都有乐器、乐理相关基础，‘能说会唱’，甚至可以自己组建乐队！”
“近年来AI作曲逐渐进入大众视野，团队研究方向也从从情感分析拓展到音乐情感生成，于是2017年上半年后，‘余音’慢慢从实验室中研发出来。”
对于之后的发展，该团队也做了不少预期规划：“随着‘余音’的准确度、效率和稳定度的不断提升，应该在一年左右会走出实验室，推向市场。”
现阶段，“余音”的乐曲编排、音色混编、并轨导出等部分工作还需要借助人机交互完成。团队希望，在未来能够与视频制作公司、作曲家及相关工作者合作，获取更多的经验知识，进而逐步减少人工参与，提升AI作曲的“智能度”，他说。
在浙江大学人工智能省部共建协同创新中心、阿里巴巴-浙江大学前沿技术联合研究中心支持下，“余音“团队希望通过人工智能赋能音乐艺术，提升机械性工作的完成效率和准确性，进而与创作者一起专注于更有创造性的工作，并探索音乐艺术的更多可能性。”
来源：浙江大学