Создатели нейронной сети Stable Diffusion рассказали о новой возможности своего детища. Теперь нейросеть способна генерировать небольшие по продолжительности видеоролики на основе предоставленных статических картинок. Информация об этом появилась на официальном сайте разработчиков.
Нейросеть представлена в двух версиях: SVD и SVD-XT. Первая способна создавать короткие ролики с максимальным разрешением 1024 × 576 пикселей продолжительностью 14 кадров. Вторая отличается длиной видео — она генерирует 24 кадра.
Принцип работы новой функции крайне прост: нейронная сеть берёт за основу одну картинку, с помощью ИИ Stable Diffusion создаёт дополнительные кадры, а потом «склеивает» их в один ролик с частотой кадров от 3 до 30 fps.
Как пояснили разработчики, обучение SVD и SVD-XT происходило на нескольких миллионах видеороликов, после чего последовал этап доработки, который потребовал еще сотни тысяч клипов. Сейчас нейросеть способна создавать видео с небольшим изменением ракурса камеры и медленным движением объектов. На данный момент существуют проблемы с генерацией лиц, людей и текста. При этом в компании Stability AI говорят о превосходстве своей разработки над имеющимся конкурентами, подтверждая свои слова следующими диаграммами.
В обозримом будущем разработчики намерены доработать функционал, позволив искусственному интеллекту создавать короткие клипы на основе текстового описания, введенного пользователями. Также в компании заявили, что ИИ можно доработать, чтобы он научился создавать 360-градусное видео.
Сейчас любой желающий может на официальном сайте записаться в лист ожидания сервиса генерации видео по текстовому описанию. Правда, информации о том, когда состоится его релиз, на данный момент нет.
