Яндекс анонсировал третье поколение YandexGPT. В него войдут несколько языковых моделей, каждая из которых натренирована на решение определённых задач. Сейчас доступна только одна из них — YandexGPT 3 Pro. Она, судя по всему, создана преимущественно для бизнеса, но протестировать её может любой желающий.
Существенная часть набора данных для обучения YandexGPT 3 пришлась на работу с документами, к которой относятся составление договоров, выставление счетов, создание нормативной документации и тому подобное. Разработчики утверждают, что YandexGPT 3 Pro особенно хороша в сегменте цифровой коммуникации, онлайн-продаж и клиентской поддержки, маркетинга и рекламы, а также в управлении персоналом.
Если сравнивать с YandexGPT 2, то модель YandexGPT 3 Pro качественнее решает сложные задачи и лучше понимает контекст. Для тестирования новой языковой модели и её конкурентов создатели использовали несколько бенчмарков. Одним из них стал YaMMLU_ru, являющийся локализованной версией популярного MMLU.
Также разработчики протестировали YandexGPT 3 Pro по методике Side by Side для оценки генерации идей, классификации информации, суммаризации, переформулировки текста и тому подобного — во всех случаях новая языковая модель обошла как YandexGPT 2, так и ChatGPT-3.5 Turbo.
Помимо прочего качество ответов возросло на 10 процентных пунктов, а их согласованность улучшилась вдвое. К тому же YandexGPT 3 реже делает ошибки: модель фактически ошибается в 13,5% случаев (против 16,4% у YandexGPT 2), а на неподтверждённую информацию в ответах приходится 5% (против 6,4%). В то же время число ситуаций, когда нейросеть не выдаёт ответ, снизилось в 5 раз.
Сейчас YandexGPT 3 Pro предназначена только для бизнеса через API, а в будущем Яндекс встроит языковые модели третьего поколения в свои сервисы для широкой аудитории. Но любой желающий уже может протестировать нейросеть в демочате, бесплатно доступно 100 запросов в час.
