Представлена модель Seedance 2.0: создаёт реалистичный контент с вниманием к деталям
Сегодня, 12 февраля, компания ByteDance, разработчик платформы вертикальных видео TikTok, официально представила миру свою новую генеративную видеомодель под названием Seedance 2.0. Она, по словам разработчиков, демонстрирует более высокое качество сгенерированного контента, лучше справляется со сложными сценами и раскадровкой, точнее следует инструкциям и предлагает более высокий уровень согласованности. Собственно, это то, к чему в последнее время стремятся все крупные компании, выпускающие генеративные видеомодели. При этом есть у Seedance 2.0 и довольно существенное преимущество, которое должно упростить авторам контента жизнь.
Дело в том, что пользователь при формировании инструкции для видеомодели может использовать в качестве базового референса не только текстовые команды, но и видеоролики, изображения и аудиодорожки. Всего можно загрузить до девяти изображений, трёх видео и трёх дорожек аудио, которые модель затем будет использовать для генерации финального контента. При этом Seedance 2.0 ограничена генерацией видео до 15 секунд, хотя, конечно, никто не мешает разделить ролик на сегменты и генерировать сцены отдельно друг от друга. В этом плане, вероятно, возможность описать раскадровку в текстовом формате очень пригодится.
Кроме того, разработчики отмечают, что новая модель гораздо лучше справляется с обработкой сложных движений в кадре и, очевидно, лучше понимает различные тонкости генерации. Например, в ролике-демонстрации с выступлением двух фигуристок можно отметить точность при обработке синхронных движений, вращений в воздухе и точных приземлений на поверхность льда. По словам компании, Seedance 2.0 строго следует законам физики реального мира, хотя, конечно, стоит понимать, что артефакты и сбои всё равно у модели будут присутствовать — от этого никуда не денешься. Но прогресс китайского гиганта в этом направлении впечатляет — от американских брендов ByteDance точно не отстаёт.
