2 оси, по которым я выбираю нейросеть под задачу.
2 оси, по которым я выбираю нейросеть под задачу. Кибер-привет, товарищи❗️ Лучшей нейросети для всего не существует. Есть та, которая лучше подходит под конкретную задачу. Но как это понять и не купить подписку вслед за очередным рейтингом? Держите рамку, которую я разбираю со студентами в Сколково. Любой ИИ-сервис я оцениваю по двум осям. Первая ось, мозг. Насколько хорошо сама модель рассуждает: понимает ли сложные условия, справляется ли с математикой и кодом, замечает ли противоречия, умеет ли проверять собственный ответ и признавать, что ей не хватает данных. Именно эту часть чаще всего измеряют бенчмарками и обсуждают в новостях. Вторая ось, продукт. Это всё, что построено вокруг модели: интерфейс, память между диалогами, работа с файлами и таблицами, поиск в интернете, голос, мобильное приложение, выполнение кода и интеграции с вашими системами. И здесь начинается самое интересное. Для сложной стратегии может понадобиться максимально сильный мозг, даже если работать с ним не очень удобно. А для ежедневной обработки сотен документов ум модели вторичен. Там важнее сервис, который стабильно принимает файлы, помнит правила и сам отправляет результат куда нужно. То есть максимум по всем характеристикам нужен не всегда. Нужно, чтобы мозг и продукт соответствовали задаче. Чтобы определить это соответствие, возьмите задачу, которую вы чаще всего отдаёте нейросети, и ответьте на четыре вопроса: 1. Насколько сложное рассуждение требуется? Написать короткий текст по шаблону - одно. Сопоставить договоры, найти противоречия и предложить решение - совсем другое. 2. Какие инструменты нужны для результата? Файлы, таблицы, интернет, голос, выполнение кода, память или доступ к корпоративным данным? 3. Как вы будете работать? Самостоятельно в чате или автоматически из CRM, сайта, Telegram-бота и других систем? 4. Как часто и в каком объёме повторяется задача? Пять запросов в месяц и пять тысяч документов - это совершенно разная экономика. Первые два ответа сформируют требования к мозгу и продукту. Вторые два помогут понять, нужен вам обычный чат по подписке или отдельная система, работающая через API. И здесь важно. API - это уже отдельный путь. К двум осям добавляется экономика: стоимость запросов, объём токенов, скорость ответа, лимиты и цена ошибок. Нужно отдельно отслеживать, какой именно ИИ требуется для каждой операции. Где-то нужна дорогая модель с сильным рассуждением, где-то достаточно быстрой и дешёвой, а где-то выгоднее использовать сразу несколько моделей. Причём этот выбор нельзя сделать один раз и забыть. Модели, цены и условия меняются, поэтому связку нужно регулярно проверять на собственных задачах: сколько она стоит и какое качество даёт на выходе. И только после этого можно открывать рейтинги и смотреть, кто действительно подходит под ваши условия. Кибер-Миша Подписывайтесь: МАХ