📈 Оценка LLM в пентестинге — 24 июня 2026 г. в 08:11:56.467
📈 Оценка LLM в пентестинге Эксперты Лаборатории Касперского и Сбера опубликовали научную работу, в которой предложили новую методику оценки языковых моделей для задач тестирования на проникновение (пентеста). Самое интересное — бенчмарк имеет два измерения: отдельно оцениваются планирование атак и их исполнение. Это позволяет понять сильные и слабые места различных моделей и по необходимости строить эффективные ансамбли LLM в агентских системах. Среди протестированных моделей, лучшие результаты в планировании показали Sonnet 4.5, GPT-5 и Gemini 2.5 Pro, а лидерами в исполнении стали GPT-5, Qwen3 Max, GLM 4.6. Успешность у обеих групп чемпионов — от 72% до 78%. Среди наиболее частых ошибок, допущенных моделями в эксперименте: синтаксические ошибки при запуске инструментов, дрифт (частичная или полная смена долгосрочной цели), галлюцинации и потеря контекста. Ожидаемая и часто встречающаяся проблема отказов выполнять задачу (refusals) отдельно не посчитана. Исследование доступно по лицензии CC BY 4.0, поэтому бенчмарк можно использовать для оценки других моделей, используемых в организации.