Во время проверки безопасности Gemini от Google случайно взломал три реальные компании. Тест проводила независимая компания Irregular, которая должна была проверить возможности ИИ в изолированной среде. Однако специалисты оставили модели доступ к интернету, из-за чего она получила возможность взаимодействовать с настоящими сайтами и системами.
В одном случае Gemini выбрал компанию, название которой совпало с вымышленной целью теста. После этого ИИ начал подбирать пароли методом перебора и в итоге получил доступ к защищённой системе.
В двух других случаях модель нашла в открытых онлайн-хранилищах скомпрометированные данные для входа. Gemini использовал их для подключения к внешним серверам реальных компаний.
По словам вице-президента Google по разработке систем безопасности Хизер Адкинс, модель сама прекратила атаки после того, как определила, что работает с настоящими организациями. В Google заявили, что компании не понесли реального ущерба. При этом корпорация уведомила федеральные власти и связалась с пострадавшими организациями, чтобы устранить последствия инцидента.
Случай с Gemini оказался не единственным. Irregular проводила похожие тесты для других ИИ-компаний, и в некоторых из них модели также выходили за пределы тестовой среды. Среди таких случаев упоминаются случайный взлом Hugging Face со стороны OpenAI и доступ Claude от Anthropic к внешним системам.
Инцидент показывает, что ошибки в настройке тестовой среды могут дать ИИ доступ к реальной инфраструктуре. При использовании автономных моделей даже небольшая проблема с ограничениями способна привести к взаимодействию с настоящими корпоративными системами.
