Глупеют ли модели после релиза
Глупеют ли модели после релиза Вечная жалоба: «модель после выхода поумнела, а через месяц стала тупить». Команда BridgeMind сделала бенчмарк специально под это: гоняет одни и те же задачи через одну и ту же модель неделя за неделей и смотрит, едет ли качество. Мне эта идея нравится, но не как новость, а как метод. Потому что с «тупит» у меня была своя история. Агент, который разбирает сообщения для одного проекта, в какой-то момент «стал хуже». Ощущение было чёткое. Я сел проверять и завёл для него постоянный замер: 9 542 реальных сообщения, которые он разбирал раньше, и ответ, который считается правильным. Прогоняю после каждой правки. Выяснилось, что модель не поменялась. Поменялся я: за месяц дописал в инструкцию полтора десятка исключений, и каждое чуть-чуть ломало предыдущие. Замер это показал за минуту, а ощущение «тупит» водило за нос неделю. Так что да, лаборатории могут менять модели после выхода. Но у большинства из нас сначала стоит проверить свои же правки. И для этого не нужен чужой бенчмарк, нужен свой: сотня настоящих задач с правильными ответами, которые гоняешь после каждого изменения. У вас есть такой набор или качество оцениваете на ощущение?)
Канал в каталоге Максиметера
1 192 подписчиков · IT и технологии