ИИ-агенты искали сотрудников Сбера с бюджетом $20: что нашли и где сломались
ИИ-агенты искали сотрудников Сбера с бюджетом $20: что нашли и где сломались Автор собрал агентный поиск — ИИ-программу, которая сама выполняет многошаговую задачу — на открытых бесплатных моделях с бюджетом $20: по $10 на OpenRouter (маркетплейс моделей) и Ollama (сервис с бесплатным тарифом). Цель была не экономия, а проверка: какой минимум технологий нужен, чтобы агент нашёл конкретного человека с проверяемым источником и не выдумал ссылку. Тестовая задача — найти HR и ИИ-специалистов Сбера; персональные данные в статье не публикуются, только обезличенные цифры. Поиск шёл через собственный прокси — посредник-сервер для поисковых запросов — на Яндексе: Google сразу выдал капчу, его официальный поисковый API закрыт для новых клиентов, а замена стоит от $30 000 в месяц. Агент работал в обвязке Hermes — наборе инструментов вокруг модели: поиск, открытие страниц, запись результатов. Маленькая модель-судья JEV проверяла каждого найденного: подтверждает ли источник роль в Сбере и работает ли человек там сейчас. Оркестрацией агентов руководил Grok bot. Первый вывод: узкое место — обвязка, а не знания модели. На задаче с десятью заранее известными людьми голая модель нашла 9,7 из 10 эталонных, но приносила 8 лишних; судья поднял точность с 0,68 до 0,97 при стоимости проверки около $0,001. Выдуманных ссылок во всех 12 запусках — ноль. Шесть бесплатных моделей на одной задаче: HR не нашёл никто — максимум 3 подтверждённых при пороге 5. ИИ-специалистов нашли три модели из шести, разброс между запусками — в полтора-два раза. С платными моделями цена не коррелировала с результатом: DeepSeek за $0,02 за запуск нашёл 17 рекрутеров — впервые в заметном количестве, а MiMo за $0,10 за четыре запуска обошёл Gemini за $1,75. По словам автора, решает не цена, а поведение модели: уходит ли она в страницы или останавливается на сниппетах — кратких фрагментах из выдачи поиска. После переделки харнесса — правил, по которым агент формирует запросы и открывает страницы, — DeepSeek стал стабильно находить 14–23 подтверждённых против максимума в 3 у бесплатных моделей раньше. Терминальный режим — агенту оставили только терминал, и он сам скачивал страницы через curl (утилиту командной строки) — дал 182 подтверждённых против 114 у веб-режима, весь шаг стоил $0,56. Но преимущество почти целиком на рекрутерах: на поиске ИИ-специалистов лидировал веб с навыками — дополнительными инструкциями-скиллами для модели, 122 против 78. Автор оговаривает: выигрыш в основном дал GLM, режимы шли в разные дни, повторов было мало. Сравнение с базой Apollo.io — платформой с базой людей, собранной из LinkedIn — показало пересечение лишь 3 из 70 собранных вручную людей: агенты берут русскоязычные открытые источники, Apollo построен на LinkedIn, и ни один источник не полный. Итоги автора: дешёвые модели годятся для сбора кандидатов, но результат нельзя принимать без проверки; вердикт судьи — не независимое доказательство, нужна ручная проверка и принятых, и отклонённых; универсального режима поиска нет; для полноты лучше объединять несколько источников, чем менять модель. Получить список людей оказалось проще, чем доказать, что они подходят под задачу и ещё работают в компании. Источник: https://habr.com/ru/articles/1092952/