Дэн Луу проверил, помогает ли агенту указание, как тестировать. Задача одна: Zstd на Ru... — 9 сентября 2026 г. в 06:40:29.625
Дэн Луу проверил, помогает ли агенту указание, как тестировать. Задача одна: Zstd на Rust, Codex на Sol medium и xhigh. Промпт без инструкций по тестам сравнили с 25 добавками: TDD, фаззинг, property-based тесты, мутационное тестирование, формальные методы вроде Lean 4 и TLA+, просьба «не делай ошибок», плюс четыре готовых skill'а. По 80 прогонов на каждое условие и уровень, оценка по скрытым тестам, на картинке цена против доли безошибочных прогонов. Ничего не выигрывает заметно, а промпт без инструкций выше среднего. TDD хуже среднего. Skill Hegel поднял стоимость на 26–41% без прироста качества. Skill из сборника ECC с 250 тысячами звёзд выглядел прилично за счёт прогонов, где агент его не открывал или открывал поздно. Лучший результат дал skill автора из пяти пунктов, и тот выполнялся не полностью. Агенты умеют находить рискованные места в коде, но тестируют их плохо, название техники этого не меняет. По опыту автора работает другое: самому задать структуру тестов и возвращаться к агенту с правками. @neuro_channel