Скиллы против сахарной таблетки
Скиллы против сахарной таблетки Скиллы для Claude Code сейчас ставят пачками, по чужим советам и красивым README. А проверяет их почти никто ) На Хабре человек сделал то, что делают с лекарствами: дал контрольной группе пустышку. Взял 9 популярных скиллов и для каждого написал «плацебо», нейтральный текст той же длины без единого совета, что-то вроде «некоторые команды выполняются быстро, а некоторые дольше». И прогнал 450 запусков на 15 задачах, с проверкой тестами самих задач, каждый запуск в чистом контейнере. Вот статья: https://habr.com/ru/articles/1091984/ Лучше пустышки оказались два скилла, и то только по деньгам: один на 12% дешевле, другой на 5%, на самой границе значимости. Один оказался хуже: решил 80% задач против 100% у пустышки. Остальные шесть текст про «команды бывают быстрые и медленные» не обогнали. А скилл, который обещает «на 65% меньше токенов», на деле поднял общий расход на 18%) Мне тут важен сам приём, а не конкретные скиллы. Любая инструкция агенту едет в каждом запросе и стоит денег. Значит, мерить её надо как лекарство: против пустышки той же длины и на своих задачах. Автор, кстати, сам пишет, где его замер слабый: одна модель, короткие задачи. Если у вас стоят чужие скиллы, прогоните хоть один против пустышки и напишите в комментах, что вышло. У автора для этого команда в одну строку.
Канал в каталоге Максиметера
1 209 подписчиков · IT и технологии