В NVIDIA создали нейросеть для генерации видео. Она как DALL-E 2, только для роликов

Несколько лет назад, когда искусственный интеллект только учили генерировать тексты или выполнять другую рутинную задачу, многие пользователи считали, что творческие профессии от этого не пострадают, так как компьютер никогда не сможет нарисовать картину или что-то в таком духе. На текущий момент ситуация кардинально изменилась — DALLE-2 или Imagen умеют генерировать весьма реалистичные изображения статичного контента, который не уступает картинам великих художников. Более того, теперь пришло время развиваться дальше — NVIDIA создала модель, которая способна генерировать полноценные видео, а не только статические изображения.

Новейшая модель от компании NVIDIA создана на базе архитектуры StyleGAN (генеративно-состязательная сеть, представленная NVIDIA в 2018 году), но с множеством дополнительных компонентов. В результате она позволяет генерировать видео — контент весьма достойно демонстрирует движущиеся объекты в кадре, а также изменения точки обзора «камеры» и различные новые объекты и условия, которые возникают в ролике с течением времени. Впрочем, чего и стоило ожидать, технология далека от идеала и работает с рывками — даже на роликах, которые были подобраны разработчиками для демонстрации новой модели, можно заметить явные деформации фона и объектов при смене перспективы.

Также стоит отметить, что все видео представлены в довольно низком разрешении (128х128), так что сейчас говорит об их полноценном использовании рано. С другой стороны, авторы модели заявили, что базовая сеть StyleGAN-V просто повторяет одно и то же содержимое, тогда как новая модель способна генерировать декорации и объекты, которые возникают в кадре с течением времени. При этом системе удаётся сохранять временную согласованность кадра, что, теоретически, в будущем позволит снимать целые фильмы лишь при помощи ИИ.