Попросили QR-код. Агент вызвал перевод HTML в PDF. Экономия на модели иногда выглядит в...
Попросили QR-код. Агент вызвал перевод HTML в PDF. Экономия на модели иногда выглядит вот так. Автор эксперимента на Хабре добавила 1404 прогона с недорогими моделями: Haiku 5.5, GPT-Reserve и Gemini 3.8 Flash. Им дали от 5 до 100 инструментов для работы с файлами. В большинстве случаев всё получилось: с отдельными инструментами правильными были 1288 из 1296 прогонов. Но GPT-Reserve четырежды выполнила неверный инструмент — в том числе тот самый HTML в PDF вместо QR-кода. Часть ошибок Gemini оказалась несовместимостью схемы с API, а не неправильным выбором модели. Ещё одна деталь: дешёвые модели чаще искали и перепроверяли. Поэтому расход входных токенов при добавлении инструментов рос быстрее. Низкая цена за миллион токенов сама по себе ещё не говорит, сколько будет стоить законченная задача. Код, задачи и журналы опубликованы. Сервер тестовый, настоящие файлы не трогает; всего 18 типов задач, так что это не приговор всем недорогим моделям. Но считать стоимость готового результата гораздо полезнее, чем радоваться дешёвому прайсу на входе.