Нейросети в музыке

[6455]

Прогресс не стоит на месте. Нейросети буквально заполонили все информационное пространство. И, конечно же, они коснулись и музыки. С подачи пользователя viaclassic, решил создать эту тему, в которой будут публиковаться ИИ-каверы, обработки, реконструкции песен. Оригинальные композиции также будут присутствовать.

♫ Udio ♫
https://www.udio.com/

Вышла версия 1.5. Лимит 400 кредитов в месяц (или 200 генераций по 33 секунды каждая) при условии ежедневного захода на сайт - 100 кредитов даются в месяц, и еще 10 кредитов даются ежедневно. Также можно фармить кредиты, выполняя специальные задания по оцениванию качества рандомных треков, это дает не больше 10 дополнительных кредитов в день. Для большего числа кредитов и более продвинутых фич типа инпэйнтинга или генерации с загруженного аудио нужно платить. Появилась возможность генерировать треки по 2 минуты 11 секунд, не больше 3 длинных треков (по 2 версии на каждый трек) в день на бесплатном тарифе.

♫ Suno ♫
https://app.suno.ai/ генерация на сайте
https://suno.ai/discord генерация на официальном discord-сервере
https://rentry.co/suno_tips советы по использованию
https://www.suno.wiki вики
Лимиты: 10 генераций в день. Нужна платная подписка чтобы увеличить лимиты, либо можно абузить сервис через создание множества аккаунтов.

♫ Локальные модели ♫
Ждём и надеемся...


Udio и Suno поддерживают множество языков для вокала (включая русский) и большое разнообразие жанров.

[6455]

1. Hailuo Minimax

https://hailuoai.video/

Китайский сервис по генерации ИИ-видео достаточно высокого качества, понимает как текстовый промпт*, так и картинку. Лучше всего понимает китайский, но русский и английский понимает также. Три 5-секундных видео в день генерируются бесплатно, для большего дальше нужно либо менять Гугл-акк, либо платить для доступа к полному функционалу.

2. Luma Dream Machine

https://lumalabs.ai/

Американский стартап по генерации ИИ-видео. Лимит 30 генераций в месяц, дальше нужно платить (для граждан РФ никак, увы). Ну либо поменять Гугл-аккаунт, заведя новый и заново генерировать бесплатно.

В качестве промпта можно указывать как текст, так и изображение. Также можно дополнять изображение текстом, объясняя что с ним следует сделать.

3. Kling

https://klingai.com/

Еще один китайский сайт. На данный момент самый крутой по качеству сервис, но при этом самый дорогой. Есть бесплатная версия, но с ограниченным функционалом и очень долгим временем генерации. В платной есть доступ к генерации длинных видео, видео с высоким разрешением, управление движениями объекта на видео, специальные эффекты типа синхронизации движения губ при речи персонажей и т.д.

Похожие сервисы:

4. Хайпер

https://haiper.ai/

Можно генерировать видео как через текст, так и через картинку.

5. Pixverse

https://app.pixverse.ai/

6. Pika

https://pika.art/try

7. Runway Gen. 3

https://runwayml.com/

Коллекция ИИ-видео:

https://www.reddit.com/r/aivideo/

*Промпт (от англ. prompt) — это запрос к нейросети с целью получить желаемое изображение или текст. Проще говоря, это запрос, инструкция или подсказка, которыми пользователи дают команду для нейросети.

От корректности промпта зависит конечный результат, который выдаст пользователю искусственный интеллект.

[Valdemar]

September the 3rd | 3-е Сентября

https://rutube.ru/video/26761ec33e03c2d877c3d7f0adc7ac60/

[Valdemar]

[Valdemar]

[Анатолий Вейценфельд]

Мой друг деньги зарабатывает на ИИ-фонограммах. Так вот мы подсчитали, что по времени создание нейросетевой фонограммы примерно равно созданию нормальной аудиозаписи, включая аранжировку, репетиции и запись (если говорить о стандартной поп-песне в исполнении профессиональных музыкантов). Одна песня у него занимает целый день, а количество промптов достигает многих сотен. И каждый промпт - подробное описание требуемого результата.
Вот пример:
«Мрачная, интроспективная, кинематографическая музыка, 96 BPM, размер 6/8, ми минор с тонкими смычковыми текстурами, без перкуссии, разреженная, холодная реверберация, добавление морфизирующегося синтезатора в середине песни, введение диссонантного кластера верхних струнных в конце».
Но это еще цветочки. А вот по-взрослому:
«Инструментальная музыкальная композиция в стиле «Игры престолов». Эпическая, драматичная, с медленным нарастанием напряжения и постепенным увеличением эмоциональной интенсивности. Основной инструмент: глубокие струнные, включая виолончель, контрабас и альт, постепенно присоединяющиеся для усиления эмоционального воздействия. Дополнительные атмосферные элементы: орган или синтезированные органоподобные текстуры, усиливающие торжественность и глубину. Ненавязчивое присутствие хора (безмолвный вокал или минималистичная вокализация) во второй половине композиции. Минорная тональность (предпочтительно до минор или ре минор) с периодическими модуляциями для усиления драматизма. Простая, но эмоционально сильная гармоническая последовательность, в которой доминируют минорные аккорды и педальные тона для нарастания напряжения. Вступление: закладывает основную тему. Развитие: постепенное введение струнных инструментов, наращивание динамики и эмоциональной интенсивности. Кульминация: включение хора и органа, мощное, многослойное звучание, достигающее эмоционального пика. Заключение: постепенное затухание инструментов».
Напомню, это текст задания для нейросети!
Ну и совсем тяжелый промпт:
"Создать оригинальную заглавную песню для современного шпионского триллера: проникновенная партия контральто (с британским акцентом) на фоне оркестровой баллады в фа миноре в темпе 74 удара в минуту с непринужденным свинговым звучанием. Настроение мрачное, тлеющее и напряженное, нарастающее до героической кульминации. Добавить легато струнных (скрипки/альты), контрапунктирующую мелодию бас-кларнета и пульсирующий электробас. Нарастает напряжение с помощью мягких ударных, глубоких томов, литавр и приглушенных духовых инструментов. Первый припев должен обрушить на слушателя мощные струнные, ударные и духовые инструменты вокруг мелодии в тонической минорной сексте. Второй куплет сводится к пиццикато струнных и теплому звучанию Rhodes piano, а тремоло гитары и перевернутые тарелки создают атмосферу. Бридж ненадолго модулирует в ля-бемоль мажор с пышными хоровыми «ах»-пэдами и парящими вокальными импровизациями, затем возвращается в фа минор для кульминационного финального припева, заканчивающегося длинной ферматой тоники с эхом фортепианного арпеджио. Детали оркестровки: струнные, валторны и трубы с сурдинами, низкие деревянные духовые, ударная установка с щетками, оркестровая перкуссия, обратные нарастания тарелок и воздушные вокальные пэды. Звучание: широкие стереострунные, центрированный вокал, глубокая кинематографическая реверберация, низкочастотные нарастания перед каждым припевом."
С точки зрения теории музыки описание кое-где корявое, ну да Искусственный Интеллект разберется - под контролем обычного аналогового. 
Под контролем в прямом смысле - результат исполнения каждого промпта отслушивается, вносятся коррекции, и по новой. Сколько раз? десятки и сотни! Я когда понаблюдал, сказал - "да мне проще и быстрее от руки нотами все это написать!" Мне говорят - а количество вариантов? Ну ту да, тут не попрешь против нейронки... 
Но суть в том, что те, кто думает, что Оно там само всё сделает, а мы в буфете посидим - так не работает. Или результат будет сразу под кнопку Delete...

[Иван Капсамун]

На моем родном языке. Неплохо звучит...

[Олег Верещагин]

Я давно пользуюсь suno.ai. Мы с другом сочиняем стихи, задаём жанр, разметку - куплет-припев-проигрыш и т.д. И получаются неплохие результаты. Песни на свои стихи я не могу здесь привести по морально-эстетическим соображениям (они неприличные, с матом ) А вот одну песню своего друга Стаса могу.
Причём этот голос оказался настолько популярным, что я видел как минимум 4 группы на Яндекс.Музыке с этим голосом. Ребята не стесняются выдавать это за собственное творчество и, по сути, продавать это на стриминговых платформах. Когда я нашёл одну такую группу в ВК и написал в комментариях, что это ИИ сочинил, меня тут же забанили в этой группе.

[Олег Верещагин]

Хотя вспомнил одну песню без мата, писал для нашего внедорожного клуба

[Eugene]

Песни на свои стихи я не могу здесь привести по морально-эстетическим соображениям (они неприличные, с матом )

Вот уж от кого не ожидал, так это от вас, Олег. 

[Олег Верещагин]

создание нейросетевой фонограммы примерно равно созданию нормальной аудиозаписи

Если углубляться, даже в Suno имеется такое количество тегов, что можно любой нюанс песни выделить. Вот сатья интересная по этому поводу: https://proza.ru/2025/03/20/787

[Олег Верещагин]

Вот уж от кого не ожидал, так это от вас, Олег

Ладно, уговорили Приложу одну почти приличную песню без мата. Написал её давно, когда подцепил какой-то вирус, и врач мне выписал антивирусный препарат Триазавирин. Сейчас заново скормил её Suno, т.к. его возможности с тех пор сильно повысились, и результат стал куда лучше и более естественным:

Причём, мне кажется, что живому исполнителю так спеть будет весьма сложно, даже опытному вокалисту

[Анатолий Вейценфельд]

Ребята не стесняются выдавать это за собственное творчество и, по сути, продавать это на стриминговых платформах. Когда я нашёл одну такую группу в ВК и написал в комментариях, что это ИИ сочинил, меня тут же забанили в этой группе.

Олег, я тебе в личку напишу, что делать в таких случаях. А сделать им можно довольно больно. 

[Олег Верещагин]

Мне Анатолий прислал ссылку на интервью с поэтом Александром Елиным, который использует ИИ в своём творчестве. Что он думает по этому поводу - это довольно интересно. Рекомендую прочитать

[Анатолий Вейценфельд]

С ИИ технико-компьютерные проблемы - не такие и проблемы. Там проблемы юридические, по части прав интел. собственности, авторского права и т.п. Вот там и правда голова кругом... 
Есть и забавные моменты, неожиданные. Несколько песен Елина взяла в свой концертный репертуар певица, солистка Костромской филармонии. Т.е. обратное движение - от цифры в аналог    А теперь она и сама стала "писать" песни с помощью нейронки и исполнять их со сцены. Кто бы мог подумать...