Компания «Сбер» представила нейросеть под названием GigaChat, которая позиционируется как конкурент ChatGPT, или, как говорят в «Сбере», русскоязычная версия популярного чат-бота от OpenAI. В отличие от зарубежных аналогов, GigaChat более грамотно общается на русском языке и обладает поддержкой мультимодального взаимодействия. Новый продукт компании является экспериментом и на текущий момент работает в режиме закрытого бета-тестирования.
В основе GigaChat лежит несколько языковых моделей, их обобщили названием NeONKA (NEural Omnimodal Network with Knowledge-Awareness) с отсылкой на известное произведение братьев Стругацких. В качестве базовой модели для обучения была выбрана ruGPT-3 с 13 млрд параметров. Данные объёмом 300 ГБ содержали сотни тысяч книг, документов, новостей на русском и английском языках, разговорную речь, научные статьи и прочую информацию. Позднее её дообучили на расширенной версии датасета, в который вошли юридические документы. Модель тренировали около полутора месяцев на 512 GPU V100, а затем в течение трёх недель на 200 GPU A100. В итоге получилось то, что назвали ruGPT-3.5.
На следующем этапе были эксперименты с инструкциями. Сейчас GigaChat лучше всего выполняет профессиональные и творческие задачи. Например, придумывает различные тексты, названия, стихи, истории и даже шутки. Модель работает не только с текстовой информацией, но с другими разновидностями, может генерировать изображения, за что отвечает Kandinsky 2.1.
«Сбер» планирует постепенно открыть доступ к GigaChat для всех желающих, в том числе и по API. Компания также запустила закрытый Telegram-канал, участники которого в числе первых смогут попробовать чат-бот. Кроме того, модель ruGPT-3.5 13B скоро будет выложена в открытый доступ на huggingface, а первым продуктом с поддержкой GigaChat станет голосовой ассистент «Салют».
