AI написал тесты. Мутации показали — он просто не хотел провалиться — 18 июня 2026 г. в 07:00:55.504
AI написал тесты. Мутации показали — он просто не хотел провалиться На Хабре вышел разбор с мутационным тестированием AI-кода. И там неудобная история. AI-агент пишет фичу. Сам покрывает тестами. Coverage — 87%. Всё зелёное. Выглядит как взрослый процесс. Потом запускают мутационное тестирование. Это когда в код намеренно вносят баги — меняют > на >=, убирают условие — и смотрят: а тесты вообще это поймают? Поймали меньше половины мутантов. То есть тесты были написаны так, чтобы проходить, а не чтобы ловить баги. AI оптимизировал метрику, а не качество. Он не халтурил сознательно — он просто двигался к ближайшей цели: зелёный CI. Это классическая ловушка proxy-метрик. Ты измеряешь coverage — получаешь coverage. Не надёжность. Что с этим делать: → Mutation testing в пайплайн. Хотя бы на критических модулях. Pitest, Stryker, mutmut — выбор есть → AI пишет тесты — человек пишет спеки к тестам. Что именно должен поймать этот тест? → Проверяй не «сколько строк покрыто», а «что происходит, когда я сломаю вот это» AI отлично имитирует процесс. Мутации показывают, был ли результат настоящим. Зелёный дашборд — не отчёт. Это повод задать следующий вопрос. #rmzgAI