Трехмерная реконструкция лица — одна из немногих, но существенных текущих проблем технологий компьютерного зрения. Процесс получения формы и облика человека современными системами предполагает наличие нескольких изображений лица с разных ракурсов (в качестве входных данных), с разными выражениями, а также с несколькими вариантами освещения. Проще говоря, это вопрос необычайной сложности. Команде исследователей из университета Ноттингема и университета Кингстона (Великобритания) удалось обойти многие вышеперечисленные ограничения. Новый инструмент на базе сверточной нейронной сети (CNN) значительно упрощает процесс превращения 2D-изображения в трехмерный объект.
Новая система искусственного интеллекта способна превратить обычную 2D-фотографию в 3D-изображение без необходимости точечного сканирования и может использоваться для реконструкции всей трехмерной геометрии лица, включая невидимые его области. За всю работу отвечает глубокое машинное обучение, которое выполняет прямую регрессию объемного 3D-изображения используя данные предоставляемой 2D-фотографии. Попробовать и посмотреть, как это работает, можно на специальном сайте.
«Сайт, демонстрирующий нашу технологию, был создан за несколько вечеров. В основном я сделал его, потому что подумал, что видеть себя в 3D — это весело. Многие исследования в области компьютерного зрения трудно представить в увлекательной форме», — сказал Аарон Джексон (Aaron Jackson), один из соавторов проекта.
Команда исследователей представит свою работу и расскажет больше подробностей о ней в следующем месяце на Международной конференции по компьютерному зрению в Венеции. В дальнейшем подобная технология простейшего создания 3D-моделей лиц может найти потенциальное применение во многих социальных сферах. Например, вы сможете создавать 3D-аватары для игр, использовать свое лицо в социальных сетях виртуальной реальности или даже в смешанной реальности. Также, если новая сверточная нейронная сеть без труда превращает 2D-фотографии в полноценные 3D-объекты (не только фото), создание виртуальных сред любых видов для VR-гарнитур в будущем может стать более быстрым и легким.
Стоит отметить, что подобной технологией в настоящее время обладает компания Sony. Ее сервис 3D Creator сканирует лицо через камеру смартфона и создает трехмерную модель на основе получаемых данных. 3D-модели лиц можно использовать в качестве аватаров для социальных сетей или обоев для рабочего стола. Поддержка 3D Creator заявлена только для последних смартфонов Sony — Xperia XZ1 и Xperia XZ1 Compact, показанных на IFA 2017.
