Amazon случайно сжёг $1,8 млн, потому что не считал токены
Amazon случайно сжёг $1,8 млн, потому что не считал токены Внутри было несколько ИИ-проектов, которые после запуска начинали незаметно расходовать огромное количество токенов. Причиной стали обычные программные ошибки. В классическом ПО они почти ничего не стоили бы, но при каждом обращении к платной модели превращались в расходы на сотни тысяч долларов. ▫️ Самый крупный случай связан с системой на базе Sonnet, которая должна была сопоставлять авторов с карточками книг на Amazon. ▫️ Проект в итоге не дал нужного результата, но успел потратить токенов на $1,8 млн. ▫️ Изначальный бюджет был превышен на 860%. ▫️ А аномальные расходы обнаружили только спустя пять месяцев. Один из руководителей Amazon признал: Трудно понять, сколько стоит что-либо, связанное с AI Такой вот вывод от одной из крупнейших компании на планете, которая подписала с OpenAI семилетнее соглашение на сумму $38 млрд, а также инвестировала до $25 млрд в Anthropic. Теперь компания разрабатывает автоматические лимиты, которые должны останавливать ИИ-проекты до того, как ошибка успеет превратиться в многомиллионный счёт. Урок на $1,8 млн усвоен. ▫️ Поэтому совет всем компаниям: с внедрением моделей придётся строить отдельный контур контроля. Лимиты токенов, уведомления об аномалиях, бюджеты на каждый сценарий и автоматическое отключение при превышении расходов. Подписывайтесь на AI для бизнеса