Новая нейронная сеть даст возможность примерять на себя любую одежду
На крупнейшем веб-сервисе для хостинга IT-проектов GitHub была представлена демо-версия виртуальной примерочной. Система разработана на базе нейронных сетей программистом под ником Geyuying.
В алгоритме для входа разработчик объяснил, что их метод содержит одновременно сеть на основе парсера PB-AFN и сеть без парсера PB-AFN. Сначала используется первый метод, который обрабатывает фото человека и маскирует одежду на нём. Далее нейронная сеть изучает образ человека и сопоставляет его с магазинной одеждой.
После этого начинается второй этап работы, к которому подключается сеть без парсера PB-AFN. Она находит сгенерированные поддельные фотографии и использует их в качестве входных данных. Помимо этого, происходит контроль над реальным изображением, чтобы найти точное соответствие между одеждой и расположением тела человека.
Разработчик отметил, что их метод является прорывом в сфере онлайн-шоппинга, поскольку он способен сохранить логотип, вышивку и другие фотореалистические делали одежды без деформации на теле человека.
На GitHub многих пользователей интересуют, сможет ли виртуальная примерочная различать переднюю и заднюю часть одежды. На этот вопрос разработчик ответил лично, уточнив, что во время тестирования могут случиться сбои, однако в дальнейшем планируется добавление семантической метки на одежду на уровне пикселей. Также программист заявил о намерении использовать трёхмерную структуру эталонного человека для обработки проблем в виртуальной примерке.
Для того, чтобы запустить демо-версию, необходимо загрузить контрольные точки с веб-сервиса GitHub и поместить папку «PFAFN» в папку «checkpoints». Папка «checkpoints / PFAFN» должна содержать «warp_model_final.pth» и «gen_model_final.pth».
В сценарии обучения указано, что папка «dataset» содержит демонстрационные изображения для теста, папка «test_img» содержит изображения людей, а папка «test_clothes» содержит изображения одежды.
Во время тестирования изображение человека и одежды передаётся в сеть для создания нового образа. Примечательно, что для этого не требуются результаты оценки размещения человека на фото. Для сохранения результата необходимо запустить test.sh.
