Вчера, 8 июля, компания ByteDance официально представила миру свою новую мультимодальную модель под названием Seedream 5.0 Pro, которая предлагает ряд достаточно существенных улучшений в области генерации графического контента. Например, разработчики заявили, что новинка гораздо лучше справляется с мелкими шрифтами и плотным расположением текстового контента в кадре.
«Создание инфографики в настоящее время является одной из самых сложных областей в рамках генерации изображений при помощи ИИ-технологий. За один подход модель должна обеспечить нужную точность данных, отобразить плотный текст без пропусков, а также организовать логическую структуру и сохранить при этом эстетику изображения», — объяснили представители компании.
Например, на изображении-примере модель в одном кадре демонстрирует временную шкалу, линейный график, гистограмму и фотореалистичное изображение антарктической станции. Система смогла сохранить иерархию информации, продемонстрировала понимание общего пространства и точность генерации текста. Кроме того, модель может генерировать плакаты, постеры на научную тематику и многое другое. Ранее чем-то подобным могла похвастаться разве что флагманская модель от компании OpenAI.
Кроме того, модель Seedream 5.0 Pro умеет интерактивно редактировать изображения-исходники с высокой степенью точности. В компании рассказали, что текстовые промпты имеют существенный недостаток — язык позволяет точно описывать то, что нужно сгенерировать, но с большим трудом определяет, где нужно внести изменения. Это ограничивает возможности мультимодальной модели, плюс иногда в дизайне нужно выполнять многократные тонкие настройки и доработки, что в случае с текстовым промптом крайне тяжело. Чтобы исправить это, Seedream 5.0 Pro глубоко интегрирует корректирующие сигналы в процессы генерации.
«Ключевое преимущество модели заключается в точном понимании пространственного позиционирования и семантики, что позволяет выполнять интерактивное редактирование на уровне пикселей», — заявили разработчики.
В рамках демонстрации они показали, как модель решает уравнения в тесте, а также переводит меню с иностранного языка на китайский.
Кроме того, модель умеет довольно чётко изолировать определённые области на изображении, чтобы затем выполнять генерацию исключительно в данной зоне. Например, пользователю нужно в красной рамке нарисовать синего кота, а в жёлтой — моток верёвки в виде шара. Система считывает эту информацию, определяет зоны и выполняет генерацию в конкретных рамках, не затрагивая другие области.
И, что довольно важно, модель научилась гораздо лучше работать одновременно с текстовыми подсказками и эскизами, нарисованными от руки. Система определяет задачу и условия, оценивает эскизный рисунок, а затем трансформирует абстрактный замысел в полноценное изображение высокого качества.
Ознакомиться с полным перечнем нововведений можно на официальном сайте.
