Ученые подсчитали, сколько энергии «съедает» один сложный запрос к ИИ
Ученые подсчитали, сколько энергии «съедает» один сложный запрос к ИИ Корейский институт передовых технологий (KAIST) сравнил энергозатраты обычных чат-ботов и ИИ-агентов — и разница оказалась колоссальной. Обычный чат-бот отвечает за один проход: вопрос — ответ. ИИ-агент думает иначе: он разбивает задачу на шаги, запускает внешние инструменты, перепроверяет результаты. По данным исследования, ИИ-агент тратит до 136,5 раз больше энергии на один запрос. При этом GPU простаивают до 54,5% времени, ожидая внешних инструментов. То есть серверы заняты неэффективно, но электричество продолжают потреблять. В тестах агент на базе модели с 70 млрд параметров тратил в среднем 348,41 ватт-часа на один сложный запрос — этого хватило бы, чтобы энергосберегающая лампа работала сутки. Если масштабировать до уровня Google (13,7 млрд запросов в день), дата-центры потребуют 198,9 гигаватта — это сопоставимо примерно с половиной среднего энергопотребления США. Авторы делают вывод: без совместной оптимизации чипов, алгоритмов и энергосетей устойчивая ИИ-инфраструктура просто невозможна. Как думаете, стоит ли прогресс таких затрат? Изображение: elenabsl/Shutterstock/FOTODOM