adblock check

Опенсорсная Stable Diffusion научилась генерировать видео из картинок: по бенчмаркам обходит платных конкурентов

В обозримом будущем создатели нейронной сети планируют добавить возможность генерации видео по описанию

Создатели нейронной сети Stable Diffusion рассказали о новой возможности своего детища. Теперь нейросеть способна генерировать небольшие по продолжительности видеоролики на основе предоставленных статических картинок. Информация об этом появилась на официальном сайте разработчиков.

Нейросеть представлена в двух версиях: SVD и SVD-XT. Первая способна создавать короткие ролики с максимальным разрешением 1024 × 576 пикселей продолжительностью 14 кадров. Вторая отличается длиной видео — она генерирует 24 кадра.

Принцип работы новой функции крайне прост: нейронная сеть берёт за основу одну картинку, с помощью ИИ Stable Diffusion создаёт дополнительные кадры, а потом «склеивает» их в один ролик с частотой кадров от 3 до 30 fps.

Опенсорсная Stable Diffusion научилась генерировать видео из картинок: по бенчмаркам обходит платных конкурентов
GIF-анимация доступна по клику

Как пояснили разработчики, обучение SVD и SVD-XT происходило на нескольких миллионах видеороликов, после чего последовал этап доработки, который потребовал еще сотни тысяч клипов. Сейчас нейросеть способна создавать видео с небольшим изменением ракурса камеры и медленным движением объектов. На данный момент существуют проблемы с генерацией лиц, людей и текста. При этом в компании Stability AI говорят о превосходстве своей разработки над имеющимся конкурентами, подтверждая свои слова следующими диаграммами.

Опенсорсная Stable Diffusion научилась генерировать видео из картинок: по бенчмаркам обходит платных конкурентов

В обозримом будущем разработчики намерены доработать функционал, позволив искусственному интеллекту создавать короткие клипы на основе текстового описания, введенного пользователями. Также в компании заявили, что ИИ можно доработать, чтобы он научился создавать 360-градусное видео.

Сейчас любой желающий может на официальном сайте записаться в лист ожидания сервиса генерации видео по текстовому описанию. Правда, информации о том, когда состоится его релиз, на данный момент нет.

ksmorodin ksmorodin
Автор
🇷🇺
ИИ ИИ
63 участника
Вступить
1 комментарий
Оставьте комментарий...
Оставьте комментарий...
mekena283 6 месяцев
Удобно зделали что можно склеивать!