Машинное обучение потребляет очень много энергии — это общеизвестный факт. Многочисленные модели искусственного интеллекта, резюмирующие электронные письма, чат-боты и видеоролики с Гомером Симпсоном, поющим ню-метал, приводят к огромным счетам за содержание серверов, потребляющих мегаватты электроэнергии в час. Но никто, судя по всему, включая компании, стоящие за этими технологиями, не может точно сказать, во что эта вся индустрия обходится. На текущий момент существуют примерные оценки сферы, но эксперты считают, что эти данные довольно условны и дают лишь общее представление об энергопотреблении искусственного интеллекта. Это связано с тем, что модели машинного обучения очень переменчивы и могут быть настроены так, что их энергопотребление постоянно меняется. Кроме того, компании вроде Microsoft или OpenAI, которые лучше всего подходят для оценки расходов на электричество в данной области, просто не делятся соответствующей информацией.
«Представитель Microsoft сообщил, что компания в настоящее время вкладывает средства в разработку методик количественной оценки энергопотребления и углеродного воздействия ИИ, а также работает над тем, чтобы сделать большие системы более эффективными как в обучении, так и в применении. Другие крупные компании комментировать этот вопрос отказались», — заявили журналисты The Verge.
Оценить энергопотребление тяжело, потому что гиганты рынка молчат
Одним из важнейших факторов, на который стоит обратить внимание, является разница между обучением модели и её внедрением для пользователей. Обучение является крайне энергоёмким процессом, в рамках которого потребляется гораздо больше электроэнергии, чем в случае стандартной деятельности центров обработки данных. Например, обучение большой языковой модели GPT-3, по оценкам специалистов, требует энергопотребления на уровне 1 300 МВтч — это примерно столько же энергии, сколько расходуют 130 частных домов за весь год. Для наглядности хотелось бы уточнить, что за час стриминга проектов Netflix потребляется примерно 0,8 кВтч (это 0,0008 МВтч) электроэнергии. Это значит, что пользователю придётся посмотреть 1 625 000 часов Netflix, чтобы потратить столько же энергии, сколько требуется для тренировки GPT-3.
Правда, трудно сказать, насколько эта оценка верна с учётом современных систем. С одной стороны, потребление энергии может быть больше, потому что современные модели ИИ неуклонно растут в размерах, а чем больше модель, тем больше нужно энергии для её обучения. С другой стороны, крупные компании могут использовать передовые технологии, чтобы сделать свои системы более энергоэффективными и снизить расходы на электроэнергию. Саша Лучиони (Sasha Luccioni), исследователь из компании Hugging Face, считает, что когда ИИ начал приносить прибыль, крупные компании стали более скрытными в этих вопросах. Например, подробной информации о ChatGPT и GPT-4 просто не существует:
«В случае с ChatGPT мы не знаем, насколько она велика, не знаем, сколько параметров имеет базовая модель, не знаем, где она работает… Это может быть что угодно, потому что вы просто не знаете, что находится под капотом», — заявила Лучиони.
Также Лучиони считает, что секретность в вопросах энергопотребления ИИ частично объясняется конкуренцией между компаниями, а также является способом отвести от себя критику. Потому что статистика потребления энергии, особенно в развлекательных сценариях, может привести к негативному сравнению с расточительностью в энергопотреблении во времена добычи криптовалют. В мире, по словам специалиста, растёт понимание того, что это всё не бесплатно.
1 сгенерированное изображение = 1 полной зарядке смартфона
Но на самом деле обучение модели — лишь часть общей картины. Ведь после того, как система была создана и выпущена в релиз, пользователи начинают использовать ИИ для получения определённых результатов. Для того чтобы оценить это направление, Лучиони совместно с сотрудниками Hugging Face и представителями Университета Карнеги-Меллона провела масштабное исследование, оценив энергопотребление различных моделей на базе ИИ. Для этого специалисты провели тесты на 88 различных моделях, охватывающих огромный спектр сценариев их использования — от ответов на тестовые вопросы до идентификации объектов и генерации изображений. В каждом случае они выполняли задачу 1 000 раз, оценивая затраты энергии.
Большинство протестированных моделей потребляют незначительные объёмы энергии — 0,002 кВтч для классификации текстового контента и 0,047 кВтч для генерации текста. Если сравнивать эти расходы энергии с часом потокового вещания Netflix, то данные ИИ эквивалентны затратам на просмотр девяти секунд или трёх с половиной минут видео соответственно (стоит помнить, что речь идёт о тысяче выполнений каждой из задач). Правда, энергопотребление было значительно выше для моделей, генерирующих изображения, которые потратили примерно 2,907 кВтч на 1 000 генераций. В статье специалистов отмечается, что в среднем смартфон потребляет 0,012 кВтч для зарядки. Выходит, что для создания одного изображения с помощью ИИ нужно примерно столько же энергии, сколько и для полной зарядки смартфона.
Но слово «примерно» здесь ключевое, потому что полученные данные совершенно не обязательно обобщают все сценарии использования ИИ в мире. В рамках эксперимента специалисты протестировали десять различных систем генерации изображений — от небольших моделей, создающих крошечные фотографии 64×64 пикселя, до более крупных, генерирующих 4К-изображения. Это привело к огромному разбросу значений. Кроме того, исследователи стандартизировали используемое ими оборудование, чтобы более наглядно сравнивать различные модели ИИ, но в реальности программное и аппаратное обеспечение часто оптимизируют для повышения энергоэффективности.
«Определённо, это не является репрезентативным результатом для всех сценариев использования ИИ. Но теперь, по крайней мере, у нас есть хоть какие-то цифры», — заключила Лучиони.
ИИ будет потреблять столько же электроэнергии, сколько и целая страна
Данное исследование предоставляет крайне полезные относительные данные, пусть это и не абсолютно точная оценка. Например, результаты тестов показали, что модели на базе ИИ требуют больше энергии для генерации контента, чем для классификации данных. С другой стороны, если мы хотим лучше разобраться в глобальных расходах на электричество, можно пойти немного иным путём, увеличив масштабы.
Именно этот подход предлагает использовать Алекс де Врис (Alex de Vries), аспирант «Амстердамского свободного университета (VU Amsterdam)», который ранее вычислял энергозатраты, связанные с биткоином. Для этого он использовал оценку графических процессоров компании NVIDIA, которые являются золотым стандартом аппаратного обеспечения в области ИИ, ведь в прошлом году на долю «зелёной компании» приходилось примерно 95% от всех продаж ускорителей в секторе ИИ. И учитывая, что NVIDIA публикует детальные спецификации энергопотребления своего оборудования, а также прогнозы продаж, оценить масштаб не составит труда. Используя эту информацию, господин де Врис подсчитал, что к 2027 году сектор ИИ будет потреблять от 85 до 134 ТВт⋅ч (тераватт-часов) в год — это примерно столько же, сколько в год потребляет целая страна Нидерланды.
«К 2027 году потребление электроэнергии искусственным интеллектом может составить 1,5% от мирового потребления энергии. Я думаю, это довольно внушительная цифра», — заявил Алекс де Врис.
Схожие данные приводятся в недавнем отчёте Международного энергетического агентства — в публикации указано, что потребление электроэнергии центрами обработки данных в ближайшем будущем существенно возрастёт из-за искусственного интеллекта и криптовалют. Представители агентства считают, что по состоянию на 2022 год потребление энергии центрами обработки данных составляло примерно 460 ТВтч, но уже в 2026 году потребление вырастет до 620-1050 ТВтч. Это эквивалентно потребностям в электроэнергии Швеции и Германии соответственно.
Правда, исследователи считают, что эти оценки стоит рассматривать в контексте. Дело в том, что в период с 2010 по 2018 год энергопотребление центров обработки данных было относительно стабильным и составляло примерно 1-2% от общемирового потребления. Здесь стоит уточнить, что под выражением «центры обработки данных» подразумевается буквально весь «интернет» — от внутренних серверов корпораций до приложений, которые автономно запускаются на смартфоне. С тех пор спрос на вычислительные мощности, конечно, вырос, но и аппаратное оборудование стало более эффективным. Проблема лишь в том, что в случае с ИИ ситуация может быть немного иначе из-за стремления компаний «бросать» на решение различных задач всё большие модели с большим набором параметров.
«Это формирует естественный стимул просто продолжать добавлять больше вычислительных ресурсов, и как только модели или аппаратное обеспечение становятся более эффективными, разработчики будут делать эти модели ещё больше, чем раньше», — считает Лучиони.
Рейтинг энергоэффективности — как у холодильников
Лучиони заявила, что ей очень хотелось бы, чтобы крупные компании вели некий рейтинг энергоэффективности моделей искусственного интеллекта, позволяющий потребителям сравнивать расходы электроэнергии так же, как при выборе бытовой техники. У Алекса де Вриса совершенно иной подход — нужно ли вообще использовать ИИ для решения определённых задачи, учитывая, что из-за ряда ограничений он, вероятно, не справится со множеством сценариев. Соответственно, мы просто потратим время и ресурсы впустую.
Это перевод статьи The Verge.
