Piano Genie — нейронная сеть, позволяющая поимпровизировать на фортепиано, используя всего 8 кнопок. Её разработала команда Magenta из Google AI, интерактивная веб-демо доступна для всех желающих.
Как работает Piano Genie?
Двунаправленный кодировщик LSTM сопоставляет последовательность фортепианных нот с последовательностью кнопок контроллера. Затем однонаправленный декодер LSTM декодирует последовательность кнопок обратно в музыку. По завершении обучения сети роль кодировщика занимает исполнитель, который сам задаёт последовательности клавиш на контроллере, а декодер связывает задаваемые комбинации с уже знакомыми. При этом на нажатие одной кнопки контроллера Piano Genie приходится проигрывание только одной ноты.
Нейросеть обучалась на 1400 вариантах виртуозных выступлений, взятых с международного конкурса. Примечательно, что схема движения мелодии в точности имитирует последовательность кнопок контроллера. Поведение кодера не поощряется в том случае, если мелодия, например, движется вверх при нисходящем движении кнопок.
Это далеко не первая связь искусственного интеллекта и музыки. В августе 2018 года исследователи из Университета Йёнчёпинга в Швеции и Маастрихтского университета в Нидерландах научили нейронную сеть анализировать музыкальные предпочтения человека на основе его психологической модели.
Источник: