Аспирант Стэнфордского университета Кайды Цао, исследователь в области ИИ Цзин Ляо из университета Гонконга и Лу Юань из Microsoft создали нейросеть CariGAN, которая превращает фотографии в карикатуры. Официально новинку представят на конференции SIGGRAPH Asia в декабре 2018 года в Токио.
Принципы работы
CariGAN включает в себя две генеративно-состязательные сети (GAN) — CariGeoGAN и CariStyGAN. Первая определяет форму лица на фото и сопоставляет её с карикатурой. Вторая сеть добавляет стилистическую или художественную обработку.
Для обучения нейросетей учёные «скормили» им несколько тысяч изображений.
Возможности CariGAN
Разработчики системы провели исследование, чтобы проверить, насколько эффективным является их детище. Речь идёт о том, насколько удачно ИИ смог «ухватить» ключевую личностную характеристику человека на фото и передать её в карикатуре. Судя по результатам, машине вполне удалось обойти живых художников по качеству работы.
Ещё одно исследование показало, что в 23 % случаев люди не могли отличить карикатуры, созданные ИИ, от рисунков художников.
Кроме обработки фото CariGANs также способна преобразовывать в карикатуры кадры из видео. Причём ИИ обрабатывает как один кадр, так и серию. По словам исследователей, такая система сможет распознавать лица на рисунках, а также «переносить» внешность человека в мультфильм. Последнее может пригодиться аниматорам. Подробнее о работе нейросети можно прочитать в документе.
В августе 2018 года предприниматель Эрик Лу запустил сайт Cartoonify, который использует нейросеть и создаёт наброски на основе фотографий. К примеру, фото семейной пары может превратиться в пару забавных человечков.
Источник: