ИИ-браузер от Perlplexity можно обмануть при помощи скрытых команд в HTML-коде
В последнее время многие разработчики браузеров начали внедрять в свои приложения поддержку ИИ-помощников, способных выступать в роли агентов, выполняющих поставленные задачи вместо пользователя. Например, некоторым системам можно дать простую команду, а они забронируют рейс на самолёт на нужный день и самостоятельно введут всю необходимую информацию для совершения транзакции. И хотя в определённых сценариях это действительно удобно, есть и всевозможные риски, которые специалисты из Brave решили изучить более подробно. Для этого они взяли браузер Comet от компании Perplexity, проанализировав работу нового приложения и особенности встроенного ИИ-агента. Оказалось, его очень легко обмануть.
Уязвимость, о которой разработчикам браузера уже сообщили, заключается в том, как именно Comet обрабатывает содержимое веб-страниц. Суть в том, что когда пользователь запрашивает «краткое содержание данной веб-страницы», браузер напрямую отправляет часть этой страницы в свою большую языковую модель для анализа и выполнения поставленной задачи. При этом LLM не способна отличить инструкции пользователя от вредоносного контента, вшитого в код веб-страницы. Соответственно, злоумышленник вполне может получить доступ к электронной почте пользователя или другой конфиденциальной информации, если просто подготовит фрагмент текста с соответствующей командой на сайте, с которым будет взаимодействовать пользователь.
Работает это до боли просто — злоумышленнику достаточно внедрить необходимые ему инструкции в веб-контент, используя один из многочисленных способов скрытого размещения информации. Например, можно использовать белый текст на белом фоне, HTML-комментарии и массу других «невидимых» элементов страницы. Далее, пользователь, который об этом, конечно, ничего не подозревает, попадает на веб-страницу и, например, запрашивает у ИИ краткое содержание или ключевые моменты статьи. При обработке страницы ИИ обнаруживает скрытые вредоносные инструкции, и, так как система не может различить контент, который нужно резюмировать, от вредоносного контента, который стоит игнорировать, ИИ воспринимает все полученные указания как запрос от пользователя.
Подобные вредоносные команды в скрытом виде предоставляют возможность посредством браузера извлекать сохранённые пароли пользователя, передавать его конфиденциальную информацию, переходить на сайты банков и многое другое. В данном случае спектр возможностей у злоумышленников просто колоссальный — всё упирается лишь в фантазию специалиста, который будет писать инструкции. Естественно, это ставит под большой вопрос общую безопасность подобных агентских инструментов — будет интересно посмотреть, как разработчики «Кометы» смогут избавиться от данной уязвимости и насколько эффективным окажется их решение.
