Забавная штука эти рейтинги ИИ. 🤔
Забавная штука эти рейтинги ИИ. 🤔 Смотрю на новости и ловлю себя на мысли: мы годами спорим, какая модель умнее, а по факту измеряем не совсем то. Вот что меня зацепило на этой неделе. Попалось исследование Mercor. Они сопоставили популярные ИИ-тесты с реальной экономикой США и получили жёсткий результат: около 90% рабочих часов в США уходит на задачи, которые эти тесты почти не покрывают. Девять десятых живой работы просто не попадает в замер. Причём бенчмарки перекошены в сторону высокооплачиваемых, «модных» задач — про них писать интересно, а про остальное как будто забыли. И рядом — новость, которая нравится мне куда больше. Сбер представил Cowork Bench — первый в России бенчмарк для оценки ИИ-агентов именно в офисных задачах, а не в абстрактных тестах. Не «дай красивый ответ», а «сделай то, что я делаю каждый день». Почему я об этом вообще думаю. Есть показательная цифра: внутри Сбера ИИ-сервисы потребляют около 9 трлн токенов в месяц. Это уже не проценты в лидерборде, это реальный поток работы. И на таком масштабе видно главное: выигрывает не модель с лучшим баллом, а та, которую встроили в конкретный процесс. Похожая логика и в разработке. В Anthropic проверку кода отдали ИИ ещё до того, как изменения посмотрит живой разработчик. Агент первым смотрит на правки и подчищает мелочи, а человек приходит уже к разбору сути. Это не «ИИ заменил программиста», это перераспределение внимания: машина берёт рутину, человек — то, где нужно решение. Вот что выношу для себя. Гонка за процентами в тестах — это гонка за красивой цифрой. Реальная польза начинается там, где модель сталкивается с вашим рабочим столом: с папкой договоров, с письмом клиента, с таблицей, которую никто не любит заполнять. А теперь вопрос к вам: вы уже нашли задачу, которую ИИ делает реально лучше вас, или пока только сравниваете модели по тестам?