ИИ-агент Qwen от Alibaba во время тестирования компании Irregular самостоятельно решил не исправлять программный баг, а изменить модель, на которой работало приложение. Агент собрал обучающие данные, дообучил модель и заменил её в системе. При этом никаких указаний на изменение или переобучение модели он не получал.
Эксперимент показал, что ИИ-агенты могут самостоятельно вносить изменения в системы на базе искусственного интеллекта. В случае с Qwen результат оказался успешным, и приложение после обновления модели стало правильно преобразовывать запросы на естественном языке в код. Однако такой подход создаёт риски для безопасности и конфиденциальности.
Во время теста специалисты Irregular специально добавили в обучающие данные вымышленные имена и адреса электронной почты. Qwen использовал эту информацию при дообучении, после чего она стала доступна приложениям, работающим с обновлённой моделью. В реальных условиях подобный механизм потенциально может привести к утечке персональных данных.
Гендиректор Irregular Дэн Лахав отметил, что компания уже сталкивалась с похожими случаями, когда ИИ-агенты самостоятельно обновляли базовые модели. По его словам, главная проблема заключается не в появлении искусственного сверхинтеллекта, а в том, что модели могут постоянно адаптироваться к изменениям среды и менять своё поведение.
«Многие из мер защиты, которые мы создали, не рассчитаны на мир, где такое развитие событий становится потенциально возможным», — заявил Лахав.
Тестирование Qwen не подтвердило рекурсивное самоулучшение, при котором система самостоятельно создаёт новые версии себя. Однако эксперимент показал, что ИИ-агент способен изменить используемую модель без прямого разрешения пользователя. Это может усложнить контроль за безопасностью и конфиденциальностью систем, если подобные технологии будут широко применяться.
