llm-echo 0.5: echo-модель для отладки промптов в CLI llm
llm-echo 0.5: echo-модель для отладки промптов в CLI llm Платить за каждый тестовый промпт в llm быстро надоедает. llm-echo — отладочный плагин: псевдомодель echo вообще не зовёт облако, а показывает, что реально ушло в запрос, и считает имитированный расход токенов. В версии 0.5 подсчёт расхода дотянули до цепочек с системным промптом, вызовами инструментов и режимом рассуждений — раньше на echo флаг --usage давал цифры «для галочки». Симон Уиллисон как раз гонял плагин, пока готовил новый релиз llm. Сверьте один прогон на echo и на живой модели с тем же --usage. Расходится только выход — значит, копать сериализацию и опции, а не качество ответа модели.
16 просмотров