Сбер, он же «Сбербанк России», который превратился из просто банка в технологическую экосистему сервисов, представил свой новый продукт, разработанный командами SberDevices, Sber AI и SberCloud. Это нейросеть, в основу которой легла анонсированная в январе 2021 года DALL-E от OpenAI.
Новая нейросеть от Сбера, получившая имя ruDALL-E, умеет генерировать изображения по запросу на русском языке. Создатели утверждают, что нейросеть постоянно обучается на картинках и текстах и способна создавать неограниченное количество картинок по описанию. Достаточно написать текстовый запрос и получить сгенерированную искусственным интеллектом картинку. Процесс генерации занимает несколько минут. Система самостоятельно создаёт уникальные изображения и объекты, которых никогда не существовало в реальном мире. Их можно использовать, к примеру, для иллюстрации статей или в рекламных целях.
Создатели ruDALL-E отмечают, что хотели создать мультимодальную нейронную сеть, которая бы изучала концепции в нескольких модальностях, чтобы лучше понимать мир. И, похоже, им это удалось. Отмечается, что это самая большая вычислительная задача в истории России и первая в мире нейросеть для генерации картинок по описанию на русском языке. Обучение модели заняло больше 23 тысяч GPU-часов. Система ruDALL-E включает в себя три нейросети. Первая занимается обработкой запроса и генерацией изображений, вторая — выбирает из них более удачные, а третья — увеличивает картинки в размере без потери качества. Платформа авторегрессивно моделирует токены текста и изображения как единый поток данных. Самая большая обученная модель ruDALL-E Kandinsky XXL с 12 млрд параметров сравнима с оригинальной DALL-E от Open-AI.
Сбер уже выложил модель ruDALL-E XL с 1,3 млрд параметров в открытый доступ на GitHub. Также в скором времени она вместе с XXL-версией нейросети появится на платформе ML Space.
