Gemini 3 Pro смогла пройти Pokemon Crystal и даже победила финального босса

Несколько дней назад, 12 декабря, энтузиаст Джоэл Чжан (Joel Zhang) опубликовал в личном блоге результаты весьма интересного исследования, в рамках которого он сравнил возможности Gemini 3 Pro и Gemini 2.5 Pro в ходе прохождения видеоигры Pokemon Crystal. Данные большие языковые модели работали в формате автономных агентов, пытаясь осилить виртуальный мир проекта со всеми его механиками и особенностями, но лишь новая версия LLM смогла одолеть столь непростую задачу. Исследователь отметил, что между Gemini 3 Pro и Gemini 2.5 Pro буквально пропасть в плане понимания мира и игровых процессов, что сказывается в том числе на расходе «ресурсов».

Начать стоит с того, что Gemini 3 Pro смогла полностью пройти игру, при этом собрав все 16 бейджей, а также, что немаловажно, победить в финальной битве с боссом по имени Red. Примечательно, что за всё время прохождения большая языковая модель не проиграла ни одного боя — результат действительно впечатляющий, далеко не каждый игрок-человек сможет продемонстрировать нечто подобное. А вот Gemini 2.5 Pro потерпела неудачу — модель постоянно «застревает» на карте из-за проблем с навигацией, не справляется со сложными задачами и, к сожалению, частенько попадает в бесконечные циклы действий, что затягивает процесс прохождения уровней.

Собственно, это подводит к вопросу эффективности моделей — Gemini 3 Pro за 24 178 ходов (на это ушло 424,4 часа) смогла полностью пройти все уровни игры, включая финальное сражение. При этом модель Gemini 2.5 Pro за 42 108 ходов (445,1 часа) смогла добраться лишь до седьмого уровня (Mineral) в игре — Gemini 3 Pro на ту же задачу понадобилось всего 6477 ходов и 98,2 часа. То есть эффективность текущего поколения LLM в 6,5 раз выше по сравнению с моделью прошлого поколения. Это связано в том числе с лучшим пониманием правил виртуального мира и более логичной навигацией в условиях «тумана войны».

Автор исследования отмечает, что Gemini 3 Pro тоже ошибалась в рамках прохождения, но никаких критических проблем у модели не возникло. Всё же не просто так LLM играла более 400 часов без единого поражения. И, конечно, энтузиаст отметил колоссальный прогресс от поколения к поколению — специалисты из Google действительно прокачали Gemini 3 Pro, которая уже отлично понимает условия виртуального мира, проходит сложные квесты, головоломки и босс-файты. Видимо, совсем скоро ИИ действительно сможет проходить игры вместо пользователей.

Источник