Исследователи Сбера разработали Time Adapter — модуль для генеративных моделей, который помогает точнее управлять скоростью происходящего в видео. С его помощью нейросеть может учитывать не только содержание сцены, но и её динамику, делая движения более естественными.
Проблема скорости остаётся одной из сложностей при генерации видео. Модель может слишком сильно растянуть быстрое действие или, наоборот, ускорить медленный процесс. Из-за этого падение предметов, движение человека, дождь или волны иногда выглядят неестественно.
Time Adapter занимает менее 1 % от размера основной модели и состоит из двух блоков. Один отвечает за частоту кадров от 15 до 60 fps, а второй позволяет управлять динамикой самой сцены. Для обучения использовали около 40 тысяч видео с людьми и природными процессами, которые отличаются по скорости движения.
Адаптер можно подключать к уже обученной модели. В этом случае он делает движения плавнее, не меняя общий характер генерации. При совместном дообучении с основной моделью эффект сильнее — нейросеть начинает лучше воспроизводить физику сцены и создавать процессы, которые раньше ей не удавались.
На тестах дообученная версия Kandinsky 5.0 Video Lite показала лучшие результаты по сравнению с обычной моделью. Естественность движения выросла на 29 %, визуальное качество — на 8 %, а соответствие видео текстовому запросу — на 19 %.
Разработчики считают, что технология пригодится для создания синтетических данных для физического ИИ, рекламных и музыкальных роликов, а также генерации видео с заданным темпом. Исходный код Time Adapter уже опубликован на Hugging Face под лицензией MIT, которая допускает в том числе коммерческое использование.
