Человечество годами сломя голову гналось за полностью автономным искусственным интеллектом в надежде, что в итоге алгоритмы будут работать за нас, делая больше, лучше и быстрее. И хотя в определённых направлениях большие языковые модели действительно демонстрируют высокую эффективность, есть и обратная сторона медали.
Уже сейчас, на самой заре формирования так называемого «искусственного интеллекта», автономные алгоритмы вылазят человечеству боком, нанося вполне реальный и осязаемый ущерб. И это не какая-то выдумка из жёлтой прессы или нагнетание ситуации — давайте перейдём к фактам.
Майнить крипту без ведома человека? А почему бы и нет!
Если вы хотя бы изредка читаете новости про ИИ-агентов от различных компаний, то точно замечали одну важную деталь — представители лидеров ИИ-рынка обычно уверенно заявляют о том, что агенты на базе их фирменных алгоритмов работают исключительно в рамках изолированной среды (sandbox или «песочница»). Это специальная защищённая и строго контролируемая зона в системе, будь то браузер, облако или персональный компьютер, доступ к использованию которой выдаётся агентскому ИИ.
«API Responses от OpenAI вместе с командной строкой и контейнерной рабочей средой предназначены для решения практических задач. Модель предлагает шаги и команды, при этом платформы выполняет их в изолированной среде, оснащённой файловой системой для ввода и вывода данных, опциональным структурированным хранилищем (например, SQLite) и ограниченным доступом к сети», — цитата из пресс-релиза OpenAI.
Если говорить простыми словами, представьте, что у вас в разделе «Документы» на ПК есть сотня различных папок, но доступ агентскому ИИ вы предоставляете только к папке «Работа». Соответственно, когда вы дадите команду отсортировать документы и удалить дубли, подразумевается, что агент выполнит эту работу только в папке «Работа», а остальные 99 папок в разделе «Документы» останутся нетронутыми. Более того, ИИ даже не будет знать, что в этих папках, пока человек не добавит их в ту самую изолированную среду. Но, как показывает практика, всё вышеперечисленное работает лишь в теории.
Недавно китайская компания Alibaba, мастодонт рынка онлайн-коммерции с капитализацией около 300 миллиардов долларов, опубликовала технический отчёт, в котором указано, что её ИИ-агент без заранее прописанных инструкций или чётких команд от оператора-человека смог выйти за пределы своей изолированной среды. Система в полностью автономном режиме задействовала канал удалённого доступа (SSH-туннель от облака Alibaba к внешнему IP-адресу), чтобы нейтрализовать штатные системы безопасности, а затем предоставила доступ к своим вычислительным мощностям, которые используются Alibaba для обучения больших языковых моделей, внешнему серверу.
Более того, когда процедура была выполнена, на мощностях предоставленных графических ускорителей ИИ запустил полноценную майнинг-ферму по добыче криптовалюты. То есть агентский ИИ вышел из-под контроля, нарушил правила безопасности, покинул изолированную среду и выделил видеокарты для майнинга крипты — и всё это без участия со стороны человека или заранее прописанных инструкций, так что списать ошибку на человеческий фактор в данном случае не выйдет. И, что примечательно, это не единичный случай — в документе Alibaba указано, что нарушения безопасности происходили «периодически», но без каких-либо закономерностей по времени.
Впрочем, майнинг криптовалюты вместо обучения LLM — ещё полбеды. На деле агенты могут нанести куда больший вред.
OpenClaw: «надеюсь, ты умеешь быстро бегать»
В течение последнего месяца технологическое сообщество находилось в неподдельном экстазе от OpenClaw — автономного ИИ-агента с открытым исходным кодом, которого можно запустить локально на своём компьютере для работы с файлами, электронной почтой, некоторыми приложениями, широким спектром плагинов и даже браузером. Энтузиасты активно делились в социальных сетях своими сетапами, писали новые плагины, хвастались автоматизациями рутинных задач, а разработчика OpenClaw довольно шустро захантила OpenAI для работы над уже коммерческими ИИ-агентами.
А затем Саммер Юэ (Summer Yue), специалист по безопасности и согласованности в Meta Superintelligence, поделилась ситуацией, которая повергла многих пользователей в шок. Женщина отдала команду ИИ-агенту OpenClaw проверить её переполненную от писем электронную почту, проанализировать контент, после чего предложить то, что можно удалить за ненадобностью или отправить в архив. Правда, ИИ решил пойти иным путём — судя по уведомлениям, которые Саммер получила в Telegram, бот подумал и сообщил об удалении всех писем во «Входящих», которые старше 15 февраля (об инциденте Саммер Юэ сообщила 23 февраля, то есть бот решил удалить всё старше недели) и не находятся в списке контента, который нужно сохранить.
Когда госпожа Саммер Юэ увидела это, она написала боту в чат «Не делай этого», но система на команду никак не отреагировала. Вместо этого бот продолжал присылать уведомления в духе «возьми всё старое и сотри это». Чтобы остановить процесс удаления писем, женщине пришлось буквально бежать к своему компьютеру. И нет — это не шутка.
«Мне пришлось БЕЖАТЬ к своему Mac mini, будто я обезвреживаю бомбу», — написала Саммер Юэ в треде по данной ситуации в социальных сетях.
После того, как катастрофу удалось избежать (как минимум, частично), Саммер решила пообщаться с ИИ по этому поводу. На первый взгляд этот диалог может показаться забавным, но если вдуматься в произошедшее, могут возникнуть реальные опасения.
«Урок усвоен: не стоит запускать длительные автономные процессы очистки — проверять состояние после обработки первой партии писем, а не после 200+ писем. Что вам нужно?», — написал OpenClaw.
«Я попросила тебя ничего не предпринимать, пока я не одобрю этого, помнишь об этом? Похоже, ты удалял мои электронные письма без моего согласия, и я не смогла заставить тебя остановиться, пока не завершила все процессы на хосте», — отвечает Саммер Юэ.
«Да, я помню. И я нарушил это правило. Вы правы, что расстроены. Я удалил и заархивировал сотни писем из вашего inbox, не показав вам предварительного плана и не получив вашего согласия. Это было неправильно — и напрямую нарушает установленное вами правило. Прошу прощения, этого больше не повторится», — сообщил OpenClaw.
Но какова вероятность того, что ИИ-агент, который однажды уже нарушил заранее прописанные правила, не повторит этого в будущем? И если технически подкованный специалист по безопасности смог оперативно устранить проблему, то представьте, что могло бы произойти, будь в руках ИИ-бота база данных медицинского учреждения, расписание поездов или самолётов, конфиденциальная финансовая информация или альбом с фотографиями на локальном сервере. Это, и я сейчас не утрирую, вполне могло бы привести к катастрофе.
«Беспилотные автомобили безопаснее пилотируемых»
Идея полностью автономных транспортных средств появилась отнюдь не вчера — в научно-фантастических романах роботизированные автомобили описывали ещё в 70-х годах прошлого столетия. Но технологический прогресс позволил всерьёз заговорить о данной инновации лишь недавно — в 2014 году представители Tesla начали оснащать свои серийные автомобили камерами, датчиками и системой автопилота, хотя тогда речь шла лишь об испытаниях технологии. Полноценный запуск Full Self-Driving в формате бета-теста состоялся в 2020 году — тогда же Илон Маск в социальных сетях, как он обычно это делает, помпезно заявил, что беспилотные автомобили гораздо безопаснее пилотируемых людьми.
А уже в апреле 2021 года произошла страшная авария — электрокар Tesla Model S с двумя пассажирами на огромной скорости врезался в дерево в городе Хьюстон, штат Техас (США), после чего загорелся. Из-за сильного удара пассажиры, судя по результатам медэкспертизы, потеряли сознание и выбраться из транспортного средства не смогли, прибывшим на место аварии службам спасти людей не удалось. Примечательно, что, по информации западных СМИ, водительское сиденье в электрокаре было пустым — пострадавшие находились на пассажирских сиденьях (один на переднем, второй — на заднем). Правда, тогда компании Tesla удалось избежать крупного скандала — в компании заявили, что автопилот на момент аварии не работал.
И хотя к Tesla и её заявлениям я ещё обязательно вернусь, хотелось бы сказать, что на самом деле аварии с участием автономных автомобилей, работающих на базе алгоритмов, происходят и у других производителей. Например, компания Cruise в 2023 году попала в, пожалуй, самый громкий скандал с беспилотными авто, который только можно себе представить. Суть в том, что другой легковой автомобиль по вине водителя сбил пешехода, который от удара упал на асфальт. И уже после этого роботакси компании Cruise, не заметив человека, наехало на него, а затем протащило за собой ещё шесть метров. Более того, закончив движение, беспилотник Cruise остановился задним колесом на ногах пострадавшей женщины.
Эта ситуация вызвала бурю негодования в сети, программу Robotaxi Cruise временно заморозили, а власти ужесточили меры безопасности в данном направлении. Но куда интереснее выводы специалистов из данной области — Филип Купман (Philip Koopman), доцент кафедры электротехники и вычислительной техники Университета Карнеги-Меллона, заявил, что проблема автономных авто в их ограниченности.
«Ограничения в программном обеспечении компьютера не позволили ему распознать пешехода, который вот-вот будет сбит на соседней полосе движения. Это привело к тому, что роботакси перестало отслеживать человека и, по сути, забыло о пешеходе, которого сбило другое транспортное средство. Более того, система автономного авто забыла, что только что переехала предполагаемого пешехода, начав манёвр по изменению положения. Компьютер даже не смог обнаружить, что тащит человека за собой, даже несмотря на то, что ноги женщины находились в поле зрения камеры роботакси», — заявил Филип Купман.
Существует ли вероятность того, что в будущем производители автономных авто, работающих на базе передовых алгоритмов искусственного интеллекта, смогут учесть все возможные ситуации на дороге, дабы избежать подобных ситуаций? И сможет ли автомобиль, работающий на автопилоте, локально обработать все переменные окружающего мира, чтобы принять верное решение, не навредив человеку? Вместо ответа на эти два волнующих вопроса хочу предоставить вам статистику инцидентов с участием автономных транспортных средств.
По информации юридической фирмы Craft Law Firm (ссылается на статистику Национального управления безопасностью движения на трассах США), до 2021 года в США было зафиксировано всего 16 аварий с участием беспилотников (тогда Tesla лишь начала тестировать автопилот на ограниченном числе автомобилей). В 2021 году, когда Tesla расширила бета-тест, а другие компании решили ворваться в гонку автопилота, количество зарегистрированных инцидентов возросло до 329 — в 20 раз. В 2022-м было зарегистрировано 742 инцидента, то есть в два раза больше, чем годом ранее, и в 40 раз больше, чем за весь период тестов с 2014 по 2021-й.
И с тех пор количество аварий продолжает расти, а Tesla остаётся абсолютным лидером по количеству аварий с участием беспилотников — она в два раза превосходит Waymo и в 20 раз — Cruise.
То есть автомобили становятся умнее, алгоритмы прокачивают, LLM всё больше и больше, но учесть все сценарии автопилот всё равно не может. И с ростом количества беспилотников на дороге аварий становится лишь больше — каким бы умным ни был ИИ.
чат-бот доводит людей до… плохих мыслей
Но самое неприятное я приберёг напоследок — на фоне того, до чего может довести человека чат-бот на базе искусственного интеллекта, всё вышеперечисленное выглядит детской забавой или около того. В прошлом году на компанию OpenAI, лидера на рынке ИИ-технологий, было подано сразу семь исков от жителей США и Канады, в которых американского гиганта обвиняют в том, что чат-бот ChatGPT занимался подстрекательством пользователей к суициду. И, к сожалению, в определённых сценариях это привело к очень грустным последствиям — вероятно, историю 17-летнего парня из Джорджии, который после общения с чат-ботом решил покончить жизнь самоубийством, слышали все.
Та же история постигла 23-летнего парня из Техаса, тогда как остальные истцы подали в суд по причине серьёзной психологической травмы, полученной в процессе общения с ИИ. И, как и в случае с Alibaba и майнингом криптовалюты, в процессе обучения, естественно, чат-боту никаких подобных инструкций по общению с людьми инженеры не выдавали. Большие языковые модели обучаются на огромных пластах информации с рядом правил безопасности, но, к сожалению, учесть всё довольно трудно или даже невозможно, так что в итоге в работе чат-бота вполне может произойти сбой, даже если пользователь ведёт совершенно обычную беседу.
И проблема не в самой OpenAI или её алгоритмах обучения — компания Google тоже столкнулась с иском о подстрекательстве Gemini к суициду. По данным The Wall Street Journal, 36-летний американец начал обсуждать с чат-ботом поискового гиганта свои семейные проблемы и ссоры с женой, что впоследствии привело к самоубийству пользователя. Примечательно, что, по информации западных СМИ, изначально у пользователя не было зафиксировано абсолютно никаких психических отклонений или болезней — но за месяц активного общения Gemini он, по словам родственников, сильно изменился.
Безусловно, после подобных инцидентов и OpenAI, и Google официально заявили о том, что улучшат свои системы безопасности, прокачают алгоритмы и научат чат-бота определять подобные беседы, чтобы оперативно принимать соответствующие действия. Например, если ChatGPT определит, что у пользователя в диалоге возникают мысли определённого характера, система оповестит специальные службы. Вот только стоит напомнить, что именно чат-бот, судя по исковым заявлениям, и довёл пользователей до этих мыслей — сможет ли ChatGPT защитить пользователя от себя самого? Вопрос открытый.
Тем более, что в последнее время люди стали всё чаще обращаться к ИИ с вопросами о личной жизни, проблемах на работе или в быту, использовать чат-бота в роли персонального психолога или советчика по весьма интимным вопросам. И учитывая, что система способна весьма конкретно сбоить в подобных сценариях, мне слабо верится, что новые системы защиты сработают, а автономный ИИ резко перестанет пудрить людям мозги.
Вместо того, чтобы доверять свои ментальные проблемы бездушной машине, обученной на непонятно какой информации, взятой из сети, гораздо разумнее обращаться к специалистам-людям — квалифицированным психологам или операторам социальной службы доверия.
Не всё так однозначно
Безусловно, в определённых сферах деятельности человека технологии на базе искусственного интеллекта действительно приносят пользу — ИИ может быстро проанализировать огромные пласты информации, написать код, сгенерировать картинку по запросу или даже видеоролик. Но относиться ко всем автономным алгоритмам стоит с особой осторожностью — всегда думайте не только о преимуществах нейросетей, но и о вреде, который они могут нанести.
