Наконец у всех желающих появилась возможность разделения музыкальных композиций на составные части. В открытом доступе появилась нейросеть, способная это делать с треками. Выложила ее французская компания Deezer, у которой есть одноименный сервис потокового музыкального вещания в интернете.
Искусственный интеллект выполняет три варианта разделения:
- голоса и фонограммы;
- голоса, гитары, барабанов и остального;
- дополнительно включая фортепиано.
Проблема качественного разделения давно занимает умы исследователей. В Сети можно найти софт, онлайн-сервисы, сайты с руководством для пользователей, например Audacity. Однако качество обычно не соответствует желаемому. Чаще всего результаты разделения требуют изрядной доработки вручную.
Искусственный интеллект позволил подойти на шаг ближе к долгожданному решению этой задачи. Нейронные сети успешно обучаются, что обещает в дальнейшем полную автоматизацию разделения звуковых дорожек электронной музыкальной композиции.
Пока порой проскальзывают артефакты, но благодаря громадному обучающему датасету Deezer разделение получается практически идеальным. Сейчас в каталоге этой компании 56 млн треков.
Софт для звукозаписи музыкальных композиций создан на основе открытой программной библиотеки машинного обучения tensorflow от google и доступен на Github. Его легко установить и запустить с командной строки. Программное обеспечение даже на CPU работает довольно быстро. Полностью свободная лицензия предоставляет право использовать его любыми способами. Все, кто хотел бы попробовать разделять треки, могут зайти на онлайн-сервис mvsep.com и сделать это парой кликов.
Пресс-релиз Deezer дает ссылку на аналогичный софт других создателей с похожим качеством разделения музыкальных композиций и на сервис, на котором собирается работа разных нейросетей для выполнения этой задачи. Но нем интересно проводить сравнение, как трек разбивается на составные части разными алгоритмами.
Участники форума этой программы делятся там доработками своих идей, например добавления к spleeter музыкальных инструментов или использования его для удаления музыки, звучащей на фоне спортивных видео, во избежание бана от Youtube а нарушение авторства.
