Amazon научил искусственный разум петь по нотам

Команда Amazon в партнерстве со специалистами Кембриджа создали 3-ступенчатый алгоритм, способный анализировать мелодию и петь ее. ИИ на базе Google WaveNet разбирается в интонации, подаче, но пока не осилил экстремально высоких и низких нот.

Алгоритмы уже пишут книги, создают картины, симфонии, а теперь они осваивают и пение. Для сопоставления нотной записи с текстом и получения звуков потребовалось создать уникальный искусственный интеллект (ИИ) из трех частей.

На начальном этапе нотная запись разбирается и преобразуется для работы алгоритма. Затем получивший ее кодировщик создает мелодичные спектограммы (по 10 на секунду звучания) и, наконец, WaveNet с нужной интонацией озвучивает их, синхронизируя спектограммы с самой песней.

Авторы разработки утверждают: их решение требует меньше вмешательства, чем иные аналогичные алгоритмы. Однако результаты пока сложно назвать безупречными. Два десятка приглашенных слушателей оценили натуральность коротких отрезков звучания (3-5 сек.) в 59 баллов из ста. В низком регистре фрагменты звучали особенно неправдоподобно: ИИ буквально «жевал» слова. Но в целом участники эксперимента отметили неплохую способность алгоритма справляться с песнями без чересчур высоких и низких диапазонов.

Источник: cio-world.ru

Читайте также  ЮУ КЖСИ сдала новостройку в Еманжелинске, куда переедут сироты и переселенцы из аварийного жилья
FarmLand