Самый быстрый способ раздуть счёт за ИИ — отправлять всё подряд в одну большую модель и...
Самый быстрый способ раздуть счёт за ИИ — отправлять всё подряд в одну большую модель и называть это архитектурой. В Yandex Cloud разобрали типовые косяки ИИ-продуктов. Самые знакомые: тащить в контекст всю базу знаний, гонять простую классификацию через дорогую модель и пускать агента к инструментам без ограничений. Рабочая схема скучнее, зато не разваливается: простое — дешёвой модели, сложное — сильной; данные сначала отобрать, потом показать; действия через правила и лимиты; каждый запуск можно разобрать по шагам. Это не про «собрать суперагента за вечер». Это про то, чтобы бот поддержки не превращался в самый дорогой сотрудник компании только потому, что ему дали 200 тысяч строк базы, доступ к CRM и свободу творчества. Если ИИ уже работает в продукте, полезнее всего один раз открыть логи и честно посмотреть: какие запросы он решает дорогой моделью просто по привычке. Обычно там быстро находится пара очень недешёвых привычек.