67-летний фермер из Чучжоу (Китай) потерял весь урожай кунжута после того, как воспользовался советами ИИ по борьбе с сорняками и вредителями. По данным тайваньской организации CTWANT, мужчина около года использовал приложение и постепенно начал ему доверять, поскольку ранее получал от него полезные рекомендации.
Перед обработкой поля фермер запросил у ИИ схему борьбы с сорняками и вредителями. В ответ приложение предложило использовать несколько химических препаратов, включая флусульфасульфаэфир, и смешать их с другими средствами. Ву точно выполнил рекомендации и не стал дополнительно консультироваться с сельскохозяйственными специалистами или проверять информацию в других источниках.
Уже на следующий день после обработки начали погибать не только сорняки, но и всходы кунжута. В результате было уничтожено около 25 акров (~10 гектаров) посадок. Позже ИИ предположил, что причиной мог стать флусульфасульфаэфир. Эксперты пояснили, что этот гербицид применяется преимущественно против широколистных сорняков на соевых полях, а кунжут также относится к широколистным растениям. Кроме того, препарат предназначен для точечной обработки поражённых участков, а не для опрыскивания всего поля.
Фермер заявил, что ИИ не предупредил его о возможных последствиях. При этом в приложении отображалось стандартное уведомление о том, что результаты генерации могут быть неверными и требуют проверки.
Случай показывает одну из проблем современных ИИ-систем, которые способны выдавать убедительные, но ошибочные рекомендации. Даже если предыдущие ответы были полезными и точными, это не гарантирует правильность следующего совета. Особенно опасным такой подход становится в ситуациях, связанных с реальным физическим ущербом, где рекомендации ИИ необходимо проверять по профильным источникам и у специалистов.
