Как я собрал винный бенчмарк на 3 266 вопросов руками LLM и где они меня подвели — 2 октября 2026 г. в 03:45:58.262
Как я собрал винный бенчмарк на 3 266 вопросов руками LLM и где они меня подвели Полгода назад я решил измерить, сколько языковые модели на самом деле знают про вино. Вышел бенчмарк OenoBench: 38 104 факта из открытых источников, 3 266 вопросов с вариантами ответа и прогон шестнадцати моделей. Почти всю работу сделали агенты: код писал Claude Code, вопросы генерировали пять моделей, проверяли их десять агентов аудита. Я был единственным человеком в схеме и отвечал за вино. Счёт за API — около $800.Внутри: как 17 скраперов из 35 оказались «гарантированным fallback» из памя... Главное: • Полгода назад я решил измерить, сколько языковые модели на самом деле знают про вино • Вышел бенчмарк OenoBench: 38 104 факта из открытых источников, 3 266 вопросов с вариантами ответа и прогон шестнадцати моделей • Почти всю работу сделали агенты: код писал Claude Code, вопросы генерировали пять моделей, проверяли их десять агентов аудита #ИИ #AI #Технологии #AIАгенты #LLM