ReviewBench: GitHub дал общую линейку для AI-ревью pull request
ReviewBench: GitHub дал общую линейку для AI-ревью pull request Один ревьюер сыпет мелочами, другой пропускает security — без общей линейки спор в чате, а не сравнение. ReviewBench от GitHub даёт всем один набор из 219 публичных pull request и метрики grounded recall: свой агент гоняется офлайн, результат режется по severity и category. Независимые инженеры перепроверяли золотую разметку до релиза — 96,6 % согласия с эталоном. GitHub для Copilot code review уже использует сдвиги бенчмарка как прогноз того, что увидите в проде. Перед следующим переключением модели в CI сравните ревьюера на ReviewBench — один прогон понятнее, стали ли вы точнее или просто болтливее.
10 просмотров