Автор собрал «контекстный движок» и обработал 151 млн токенов за три месяца
Автор собрал «контекстный движок» и обработал 151 млн токенов за три месяца Автор полгода строил систему подготовки контекста для языковых моделей и за три месяца продакшена обработал 700 тысяч запросов и 151 млн «токенопераций» на трёх своих SaaS-продуктах. Его исходный тезис: большинство ИИ-систем проваливаются не из-за слабой модели, а из-за плохого контекста, который в них подают. Раньше на каждый вопрос клиента он вручную открывал документацию, искал нужный раздел, пересказывал его модели и отправлял запрос — уходило 5–10 минут. У каждого из трёх продуктов было 10–15 МБ документации, отзывов и требований комплаенса. По его словам, клиенты платили за экспертные ответы, а получали уровень младшего аналитика. Вместо шаблона промпта он собрал «контекстный движок» из четырёх слоёв. Первый подтягивает знания из Slack, Confluence, GitHub-задач и PDF, помечая каждый фрагмент идентификатором, источником и датой обновления. Второй раскладывает контент по типам: определения, процессы, факты и исключения — так один запрос может вернуть, например, определение термина из свежей версии политики плюс исключения от поддержки. Третий слой оценивает релевантность каждого фрагмента по формуле: свежесть (вес 0,4), смысловое совпадение (0,3), авторитетность источника (0,2) и удобная длина (0,1). Свежие за последние сутки записи получают максимум, а комментарии старших инженеров и комплаенс-офицеров весят больше. Четвёртый слой собирает итоговое окно контекста нужного размера, только по теме вопроса и в порядке «определения → процессы → крайние случаи». Автор приводит пример: на вопрос о согласовании контрактов дороже $50K система вытаскивает определения, процесс, фильтр по порогу и юридические исключения, отдавая модели только проверенный структурированный контекст. По его данным, время ответа упало с 5–10 минут до 2 секунд, ответы на повторные вопросы стали в 3,5 раза быстрее, число обращений в поддержку снизилось на 12%, а один разговор о продлении контракта принёс $47K дополнительной выручки — клиенту показали, как компания использует ИИ для комплаенса. Это личный опыт автора на его собственных продуктах, а не независимое измерение. В конце статьи он продаёт платные материалы по теме — набор шаблонов и аудит для малых команд, — но сам кейс описан отдельно и не зависит от этих продаж. Из практических советов он предлагает начать с аудита источников контекста, описать схему типов, собрать одну функцию поиска под самый частый вопрос и измерять время ответа, точность и расход токенов. Источник: https://dev.to/hive80lab/context-engineered-ai-how-i-automated-151m-tokenops-with-one-system-43mh