Вслед за Gemini Ultra, дебют которой состоялся на прошлой неделе, компания Google объявила о запуске своей новой языковой модели Gemini 1.5. Она должна обеспечить значительные улучшения по ряду параметров, а обеспечить качество, сравнимое с 1.0 Ultra при гораздо меньшей вычислительной мощности. По словам Google, Gemini 1.5 может последовательно обрабатывать до 1 млн токенов, и это самое длинное контекстное окно, поддерживаемое любой из существующих языковых моделей.
Gemini 1.5 основана на новой архитектуре, в которой используется метод Mixture-of-Experts (MoE), который позволяет выборочно активировать наиболее важные части нейронной сети в зависимости от входных данных. Gemini 1.5 Pro — это мультимодальная модель среднего размера, то есть она может обрабатывать различные типы данных, такие как текст, изображения, видео, аудио и код. Способна работать на том же уровне, что и Gemini 1.0 Ultra, но при этом является более масштабируемой и экономически эффективной. Модель обладает революционными экспериментальными возможностями в понимании длинного контекста, что позволяет ей обрабатывать и анализировать огромные объёмы информации за один раз.
При тестировании версия 1.5 Pro превосходила версию 1.0 Pro в 87% заданий, используемых для разработки больших языковых моделей. А по сравнению с 1.0 Ultra в тех же тестах, она работает на аналогичном уровне. Gemini 1.5 Pro может выполнять более важные задачи по решению проблем в длинных блоках кода. Получив данные, содержащие более 100 000 строк кода, модель лучше приводит примеры, предлагает полезные изменения и даёт объяснения о том, как работают различные части кода. Эта версия может выполнять сложные задачи на понимание и рассуждения для различных модальностей, включая видео.
Google предлагает предварительную версию Gemini 1.5 Pro для разработчиков и корпоративных клиентов через AI Studio и Vertex AI в ограниченном виде. В ближайшее время компания представит цены на использование языковой модели в зависимости от контекстного окна. В период тестирования её можно опробовать бесплатно с окном 1 млн токенов.
