CWE-bench v2: сто задач, где агент чинит уязвимости в живом репо
CWE-bench v2: сто задач, где агент чинит уязвимости в живом репо Если вы уже тестируете coding-агента на уязвимости, прогоните его через CWE-bench v2 — открытый набор из Collinear AI на Hugging Face. Сто задач: реальный checkout open-source репо, инструкция как в тикете, фикс проверяет программный grader, а не человек за деньги. Здесь не один повторяющийся шаблон атаки — слабости размазаны по разным классам, ближе к рабочей смене, чем к учебному snippet. Лидер лидерборда всё равно промахивается примерно в каждой пятой попытке — полезная планка, если вы сравниваете модели. Запуск через Harbor одной командой с датасета, без ручного клонирования каждого репо. Сначала примите условия gated-доступа на странице Hub — и можно сверить pass@1 с Gemini и Claude из таблицы.
Канал в каталоге Максиметера
187 подписчиков · IT и технологии