Исследователи из Google Deepmind представили масштабируемого обучаемого ИИ-агента (SIMA), который может следовать инструкциям на естественном языке для выполнения задач в различных условиях видеоигр. Проще говоря, компания обучает ИИ-модель игровым навыкам. Причём этот ИИ понимает широкий спектр игровых миров и может выполнять определённые задачи в играх, как это делает человек. Его обучение происходит на основе видеоматериалов, то есть на реальном игровом процессе. Результаты исследования показали, что ИИ-агенты лучше справляются с неизвестными для них играми.
Google заключил ряд партнёрских соглашений с игровыми студиями для обучения и тестирования SIMA в девяти различных играх. В каждой игре ИИ-агент открывает для себя новый интерактивный мир, включающий ряд навыков, которым нужно научиться: от простой навигации и использования меню до управления космическим кораблем или изготовления шлема. Кроме того, использовались четыре среды, включая ту, которая была создана с помощью Unity. Она называлась «Строительная лаборатория», и там агентам нужно было строить из блоков скульптуры — так проверялись их манипуляции с объектами и интуитивное понимание физического мира.
SIMA от Deepmind не требует доступа к коду игры или специальным API. Нужны всего две вводные: изображение на экране и простые инструкции от пользователя на естественном языке. ИИ-агент использует интерфейсы для клавиатуры и мыши, чтобы управлять персонажем и выполнять эти инструкции. Это означает, что SIMA потенциально может взаимодействовать с любой виртуальной средой. Текущая версия агента понимает 600 базовых навыков, а некоторые простые задачи он может выполнить за 10 секунд. В Google Deepmind хотят, чтобы будущие агенты решали задачи, требующие стратегического планирования высокого уровня и выполнения множества подзадач, например «Найти ресурсы и построить лагерь».
Важным было понять, сможет ли ИИ-агент, обученный на одной игре, успешно адаптироваться к другим. В итоге выяснилось, что он действительно лучше справляется с неизвестными для него играми.
