Как выстроить грамотное ИИ-ревью кода 🤖⠀
Как выстроить грамотное ИИ-ревью кода 🤖⠀ ⠀ Коллеги из СберТеха рассказали о системе ИИ-ревью LinkedIn. Она проводит 79 тысяч проверок кода в неделю, а 63,9% её предложений разработчики принимают и включают в итоговый код. ⠀ С чего всё началось? ⠀ При тестировании готовых ревьюеров команда LinkedIn столкнулась с систематическими ошибками. Модели регулярно пропускали одни типы проблем и избыточно отмечали другие⠀ Поэтому компания создала собственный оркестратор, который координирует работу моделей. Разбираем устройство этой системы 👇⠀ ⠀ Независимая проверка Оркестратор параллельно запускает субагентов. У каждого своя модель, поиск контекста, промпты и фильтрация результатов. Несколько моделей изучают код и не видят выводов друг друга. Если находят одну проблему, уверенность в ней растёт. Если ошибку замечает только одна модель, другая перепроверяет находку.⠀ Оценка до и после релиза Каждое изменение модели, промпта или харнесса проходит попарное сравнение с текущей версией. В нём используют LLM-судью, три раунда и смену позиций ответов. После релиза отдельный пайплайн сверяет предложения со смерженным кодом. ⠀ Правила на уровне репозитория Платёжному сервису и экспериментальному фронтенду нужны разные стандарты ревью. Поэтому оркестратор сочетает правила всей компании. У него есть три уровня инструкций: глобальные YAML-правила организации, правила репозитория и требования конкретного кейса.⠀ ⠀ Свой оркестратор позволяет команде постепенно внедрять изменения, менять провайдеров и следить за качеством ревью в каждом репозитории. А при смене моделей правила и система оценки остаются в компании 👌
Канал в каталоге Максиметера
2 859 подписчиков · IT и технологии