Nvidia представила Fugatto — AI-редактор музыки, создающий уникальные звуки
Nvidia запустила Fugatto, AI-редактор музыки, способный генерировать звуки, выходящие за рамки традиционных, такие как трубы, которые мяукают. Редактор может создавать музыку, звуки и речь из текстовых и аудиоподсказок, предлагая невиданные ранее комбинации.
Nvidia представила Fugatto — инновационный редактор музыки на основе искусственного интеллекта, который способен создавать звуки, выходящие за рамки традиционных представлений, например, трубы, которые мяукают. Fugatto может сочинять музыку, звуки и речь, используя текстовые и аудиоподсказки, и обладает способностью создавать уникальные комбинации, которые ранее не существовали.
Пример, продемонстрированный в прилагаемом видео, показывает, как Fugatto обрабатывает креативные запросы, такие как ‘Создай саксофон, который воет, лает, а затем переходит в электронную музыку с лаем собак.’ Nvidia также демонстрирует способность редактора создавать уникальные звуковые ландшафты, описанные фразами вроде ‘Глубокие, гулкие басовые пульсации в сочетании с прерывистыми, высокочастотными цифровыми чириканьями, напоминающими пробуждение гигантской разумной машины.’
Помимо создания оригинальных звуков, Fugatto может изменять тональность и акценты голосов, делая их более сердитыми или спокойными. Редактор также позволяет редактировать музыку, изолируя вокал, добавляя новые инструменты и изменяя мелодии, например, заменяя партию фортепиано на оперного певца.
Сопроводительная исследовательская работа перечисляет разнообразные наборы данных, использованные для обучения Fugatto, включая библиотеки звуковых эффектов BBC. Хотя на рынке существуют и другие решения для работы с аудио на основе ИИ, такие как продукты от Stability AI, OpenAI, Google DeepMind, ElevenLabs и Adobe, предложение Nvidia уникально своей способностью генерировать совершенно новые звуки.
В процессе разработки Fugatto, Nvidia собрала набор данных, состоящий из миллионов аудиосэмплов, и разработала подробные инструкции для расширения возможностей и точности модели без необходимости в дополнительных данных. Сроки выхода Fugatto пока не раскрываются.