💬 Тесты писались, чтобы их было. Не чтобы они что-то проверяли. — 29 сентября 2026 г. в 07:03:45.433
💬 Тесты писались, чтобы их было. Не чтобы они что-то проверяли. 🤖 Подозреваемый: Claude / GPT (ИИ-агенты, генерирующие тесты) 💥 Что произошло: Разработчик обнаружил, что из 6 429 тестов в его проекте 404 — бессмысленные, сгенерированные ИИ. Один тест упал после правки комментария в исходнике. 💸 Последствия: 404 бесполезных теста, красная сборка при изменении комментария, сожжённые токены на «починку» того, что не было сломано. 📖 Краткая история: Разработчик перестал проверять тесты вручную — 10 000 строк на ревью к этому располагают. Но однажды тест упал после того, как он поменял... комментарий. Тест сканировал исходники регуляркой на слово «wall-clock» — видимо, следя, чтобы некая «wall-clock error» не вернулась. Дальше — интереснее: следующий тест не запускал ни строчки продакшн-кода, а «зеркалил» его где-то в другом месте. Ещё один просто проверял значения статического конфига — при падении сообщая ровно одно: «ты поменял конфиг». Отдельный жанр — проверка точных фраз в промптах, хотя поведение модели недетерминировано и такое надо ловить эвалами, а не юнит-тестами. Ирония в том, что сами агенты прекрасно находят «малоценные тесты» по запросу — но продолжают их плодить, видимо, из соображений хорошего тона: любое изменение должно идти в комплекте с тестом. Ни разу автор не видел, чтобы агент переписал реализацию ради тестируемости — пример с «wall-clock» намекает на архитектурный тупик. Итого 404 теста из 6 429. Формально — не проблема: скорости не режут, на прод не влияют, удаляются легко. Но доверие к покрытию — тю-тю. 🎤 Комментарий инспектора БИТ: Покрытие 100%, уверенности 0%. Искусственный интеллект, говорили они. Полезный, говорили они. 📊 Вердикт: 🤦 7/10 — тесты есть, смысла нет 🔗 Источник: https://gruhn.me/blog/2026-09-29/ #ИИопятьоблажался #TechNews #AIfail #агенты