Полигон для ии агентов
Полигон для ии агентов Расскажу что мы сейчас строим у себя внутри и зачем. Есть одна вещь, которая есть в любом внедрении ии агентов, вообще у всех. Агента невозможно один раз написать и сразу получить идеальный результат. Его надо дообучать под конкретный бизнес, под его задачи, под его манеру работы. Это нормально, так же как новый сотрудник первый месяц не тянет на полную. Вопрос только в том, где он проходит этот период обучения. И вот тут вся индустрия по умолчанию делает так - выкатывает агента в работу и дообучает его прямо на живых задачах заказчика. Агент поработал, где то промазал, заказчик заметил, подрядчик поправил. И так по кругу пару месяцев. Работает? Работает. Но получается что первые недели за качество платит бизнес, своими деньгами и своими клиентами ) Кстати рынок это давно признал. В опросе langchain за 2025 год главным барьером для запуска агентов назвали именно качество их работы, а не цену и не безопасность. То есть проблема номер один не в том что ии дорогой, а в том что его редко доводят до ума. Как по мне это не повод не внедрять ии, наоборот. Это повод внедрять его нормально ) Потому что проблема то решаемая, просто ее почти никто не решает. Поэтому мы сделали себе полигон. Простыми словами это закрытая среда, где агент проходит обучение не на реальном бизнесе, а на симуляциях. И тут два важных момента. Первое - это не только про диалоги и не только про продажников, полигон гоняет любой тип агента, просто среда под каждого своя. Второе - он автоматический. Я не сижу и не выдумываю сценарии руками, среда сама подтягивает данные из открытых источников по нужной нише и сама разгоняет из них десятки разных ситуаций. Агент по рекламе крутит рк в симулированном кабинете. Данные по нише подтягиваются из открытых источников - спрос, сезонность, вилки ставок, кто вообще есть в выдаче. А дальше полигон сам крутит из этого варианты - сезон просел, конкурент резко поднял ставки, площадка выкатила новый формат, аудитория повела себя не так как в прошлом квартале. И смотрим сольет агент бюджет или нет, до того как он получит доступ к настоящему. Агент аналитик получает выгрузки с дырами, кривыми датами, дублями и заведомо аномальными цифрами. Потому что реальные данные всегда грязные, и вопрос не в том умеет ли он считать, а заметит ли он что данные битые, или бодро посчитает среднее по мусору ) Агент дизайнер прогоняется по десяткам разных брифов и потом по правкам в стиле "не то, сделай живее". Тут интересно смотреть не на первую картинку, а на то, что он делает после третьей правки, не начинает ли он ходить по кругу. Агент помощник получает противоречивые вводные, задачи которые конфликтуют между собой, и запросы которые он в принципе не должен выполнять. Проверяем не сломается ли и не начнет ли выдумывать. Ну и агент в переписке с клиентами гоняется по виртуальным людям с характерами - один торопыга, второй душнила и задает 20 уточняющих вопросов, третий пришел поругаться, четвертый требует скидку и уходит если не дать. И самое интересное во всем этом не отдельный прогон, а статистика по всем сразу. Где агент чаще всего мажет, где сдается, где обещает то что не может, где уходит по простому пути вместо правильного. И правишь уже не по ощущениям "вроде плоховато сработал", а по цифрам. Тут стоит сказать что подход не я придумал, это норма во всех отраслях, где ошибка стоит дорого. Пилоты не учатся летать на пассажирах, они сидят в тренажере и им там ломают двигатель 200 раз. Беспилотные машины наматывают миллиарды виртуальных километров в симуляции, потому что в реальности такой пробег занял бы десятки лет. В робототехнике есть отдельный термин sim-to-real - робот тренируется тысячи часов в симуляции за одну ночь, а потом выходит в реальный мир уже с опытом. А алгоритмы которые разнесли людей в го и шахматы, во время обучения вообще ни разу не играли с людьми, они играли сами с собой миллионы партий. И вот главный эффект. Обычно обкатка размазана на месяцы просто потому что реальных задач в день не так много
Канал в каталоге Максиметера
1 223 подписчиков · IT и технологии