Waifu Labs, приятно познакомиться. Первую версию нейронной сети, которая заточена под создание портретов в стиле аниме, разработчики запустили около двух лет назад. После окончания цикла из двух миллионов изображений создатели фактически перевели своё творение на следующий — уже второй — уровень. Именно в честь этого авторы проекта решили поделиться сокровенным. Они рассказали, как именно типичная нейросеть рисует людей — пусть даже стилизовано. Пример максимально простой и очень наглядный — он точно заслуживает внимания.
Как типичная нейросеть учится рисовать человеческие лица
Для начала важно понять, что Waifu Labs — это генеративно-состязательная сеть. Чтобы объяснить принцип работы технологии далёким от мира нейронных сетей, её создатели создали специальное пояснительное видео.
По большому счёту, о Waifu Labs можно думать как сразу о двух нейронных сетях, которые постоянно соревнуются друг с другом. Первый элемент искусственного интеллекта называется «Генератором» — он обязан научиться рисовать что-то по определённому техническому заданию. Второй элемент — «Дискриминатор». Он должен натренироваться отличать поддельные рисунки, которые создаёт нейронная сеть, от настоящих — к ним, по идее, приложил руку живой человек.
Обе половины одной нейронной сети получают целый набор разноплановых аниме-данных от настоящих художников и инструкции, как происходил процесс создания определённого рисунка. На всём этом искусственный интеллект начинает обучение. Во время него важно, чтобы две половины одного целого совершенствовались с одинаковой скоростью. В противном случае образовательный процесс будет приостановлен. Чтобы добиться актуального качества, нейросети нужен суперкомпьютер и около двух недель. Дальше показаны ключевые шаги в прогрессе её обучения.
Шаг 0. На данном этапе понятно, что первоначально у будущей нейронной сети нет абсолютно никакого представления по поводу искусства как такового. Первое изображение, которое рисует искусственный интеллект, — шум, случайный всплеск из так называемой «первобытной слизи». Некоторое время он будет пробовать разные стратегии, чтобы создать что-то похожее на то, что нарисовал бы человек.
Шаг 1024. Здесь уже видно что-то похожее на лицо.
Шаг 4096. На данном этапе начинают появляться специфичные черты стиля. Так как нейронная сеть затачивается на создание лиц в стиле аниме, искусственный интеллект уже выделяет соответствующие пряди волос и черты лица.
Шаг 13516. Как и неопытные художники-люди, нейронная сеть первоначально учится рисовать именно глаза.
Шаг 23961. Здесь уже видны второстепенные черты: уши и плечи.
Шаг 40564. Размытые формы планомерно превращаются в реальные черты. Размер новых элементов всё меньше и меньше — именно они придают будущей иллюстрации текстуру и стиль. Цвет в данном случае — последний вопрос.
Шаг 43636. Важно отметить, что процесс обучения не всегда бывает стабильным. Именно поэтому иногда появляются такие вот ужасные изображения. Впрочем, искусственный интеллект быстро исправляется.
Шаг 50000. Собственно, вот он — окончательный результат.
Нейросеть также учат мысленному представлению лица
Важно отметить, что современную нейронную сеть учат не просто копировать работы, которые ей «скормили», а формировать объекты: высокоуровневые (формы) и низкоуровневые (текстуры). Это нужно для того, чтобы искусственный интеллект создавал что-то именно в своём условном мыслительном процессе, а не просто копировал какие-то работы.
У художника-человека есть аналогичное мыслительное представление об определённом объекте. Чем больше опыта, тем меньше становится размышлений на эту тему — они сохраняются на уровне интуиции.
В случае искусственного интеллекта мыслительный процесс блокируется в момент остановки обучения. Создаётся что-то вроде системы координат. Изолируя определённые векторы, можно создавать подобные объекты разной направленности.
Тот же персонаж, другая поза:
Та же поза, другой стиль:
Скрытое пространство нейронной сети неизмеримо велико и часто лишено адекватного содержания. Поэтому отдельная задача инженера, который руководит работой искусственного интеллекта, — фиксирование координат для очаровательных персонажей, а также их каталогизация. Это позволяет делать интересные трюки — например, постепенную трансформацию между персонажами.
Важная часть работы — оценка креативности нейронной сети
Львиная доля работы в плоскости развития искусственного интеллекта обычно заключается в оценке его эффективности. При работе над Waifu Labs использовался комплексный метод оценки, который обычно применяют к художникам-людям. Он состоит из нескольких критериев:
- качество — насколько конкретная творческая единица соответствует выбранному направлению (в данном случае речь о портретах в стиле аниме);
- разнообразие — насколько хорошо художник может акцентировать внимание на мелких нюансах;
- возможность настройки — получится ли выбрать для определённой работы конкретные черты в производительной манере;
- время — соблюдение дедлайнов.
Используя эти показатели, создатели нейронной сети сумели получить желанный результат и поставить работу искусственного интеллекта на конвейер. Попробовать его самостоятельно можно здесь.
Конечно, Waifu Labs, в конечном итоге, сложно назвать самостоятельной сугубо творческой единицей. Впрочем, программное обеспечение отлично справляется со своей задачей — стабильно выдаёт качественный коммерческий продукт. Нечто подобное можно было бы реализовать и с помощью художника-человека. Но на создание бесконечного числа вариантов с рядом индивидуальных настроек потребовалось бы слишком много времени и финансовых вложений. С искусственным интеллектом всё это куда проще.
Источник: Waifu Labs.
