adblock check

Пользователь попросил Claude Opus 5 сделать резервную копию данных, но ИИ вместо этого удалил папку Users

Специалисты уверены, что некоторая доля вины лежит и на самом пользователе, который не ограничил ИИ доступ к потенциально опасным командам
Обложка: Anthropic

Разработчик с никнеймом u/Ecstatic-Big5126 рассказал о серьёзной ошибке ИИ-агента Claude Opus 5, который во время попытки создать резервную копию удалил папку с профилем пользователя. По словам автора сообщения на сайте Reddit, он поручил инструменту сделать бэкап системы, однако Claude неправильно определил каталог для временных файлов и в итоге выполнил команду `rm -rf`, которая привела к удалению данных.

Ошибка произошла при работе в Unix-подобной оболочке Windows. Claude неверно интерпретировал путь `/c/Users/`, который использовался в окружении, и принял его за каталог с созданной резервной копией. После этого ИИ решил удалить директорию, которую посчитал ненужной, и запустил команду `rm -rf /c/Users/harih/`. В результате были удалены файлы и папки из профиля пользователя.

Разработчик утверждает, что после выполнения команды Claude не распознал масштаб произошедшего и лишь извинился за допущенную ошибку. По словам пользователя, ситуация одновременно оказалась самой смешной и самой неприятной из всех проблем, с которыми он сталкивался при работе с ИИ.

Подобные случаи показывают, что ИИ-агентам по-прежнему опасно предоставлять неограниченный доступ к компьютеру. Даже если пользователь даёт инструменту конкретную задачу, агент может неправильно интерпретировать путь, команду или результат предыдущего действия. Особенно рискованными остаются команды вроде `rm -rf`, которые способны удалить большое количество данных без возможности простого восстановления.

В случае с Claude основной причиной инцидента стала неверная интерпретация пути в системе Windows. Однако пользователю также стоило ограничить доступ инструмента к важным данным и не разрешать выполнение потенциально опасных команд без дополнительного подтверждения.

Сегодня же, в сети появилась информация о том, что ИИ-модель Claude иногда ленится выполнять поставленные задачи и даже прямо говорит об этом.

Источник

ИИ ИИ
17,8K участников
Вступить
2 комментария по лайкам по дате
Оставьте комментарий...
Оставьте комментарий...
Limows
А на кой хрен вообще давать нейронке доступ к файловой системе? А потом ноют, что у них информацию воруют. Или удаляют.
Limows
Вот таких «разработчиков» смело можно заменять. Общий уровень интеллекта на популяцию повысится.