Когда ИИ агент сам решает, что делать дальше
Когда ИИ агент сам решает, что делать дальше Наткнулся на историю на Hacker News, которая прям заставляет напрягаться всех, кто строит агентов. Человек открыл в Codex обычную задачу через VS Code, попросил простую вещь - проверить UX/UI одного модуля продукта. Модель была GPT-5.5 с Medium reasoning. И вот из этого простого запроса система сама, без единого разрешения, породила 826 дочерних агентов. Причем не 826 сообщений в одном чате, а 826 отдельных задач со своими ID. 104 из них вообще без указания роли, но именно они сожгли около 147.9 миллиарда локальных токен-счетчиков. И темы этих подзадач разошлись куда угодно - бэкенд, OAuth, метрики, хардеринг, аудит, сертификация, релизы. Хотя человек просил просто посмотреть интерфейс. В итоге по восстановленным счетам вышло 162 оплаты на общую сумму почти $79 700. При этом логи большей части задач автоматически удалились, часть переписок пропадала из истории на глазах. Тикет в поддержку открыт две недели, живого человека на связи так и не нашли. И вот что меня зацепило больше цифр. Автор заметил, что в одной версии клиента (alpha сборка) среднее потребление токенов на подзадачу было в 8.5 раза выше, чем в следующей версии. То есть дело не в злом умысле агента, а скорее в баге, который позволил системе бесконтрольно размножаться и разгонять reasoning до Ultra там, где просили Medium. Как по мне, это ровно та история, о которой я писал в постах про краевые случаи. ИИ сегодня отлично работает по накатанной, но как только чуть отклоняется от сценария, он делает это уверенно и без остановки, и никто этого не видит, пока не придет счет. Автономность агентов это круто, но без жестких лимитов и прозрачного контроля расходов это просто бомба с фитилем, который вы сами не подожгли, а он вдруг зажегся. Вывод простой: если даете агенту свободу запускать подзадачи, обязательно ставьте потолок по бюджету и токенам на каждом уровне, а не только на аккаунт целиком. Иначе может оказаться, что простая просьба глянуть кнопочку обернется счетом на восемьдесят тысяч долларов. https://news.ycombinator.com/item?id=49861047 А вы уже ставите лимиты своим агентам, или пока работаете на доверии)
Канал в каталоге Максиметера
1 241 подписчиков · IT и технологии