Модель отупела или вам кажется❓
Модель отупела или вам кажется❓ Каждый раз после релиза новой модели одно и то же: первую неделю «это прорыв», через две недели «она отупела, раньше было лучше». Недавно на первое место Hacker News вышел проект Livenerf. Он замеряет Opus 5.5 и GPT-6 Astra в день запуска и дальше следит, не просело ли качество. В комментариях две позиции: 👉 одни уверены, что модели «теряют мощность» через 1–2 недели после запуска. Называют возможные причины: нагрузку в пиковые часы и перераспределение мощностей 👉 скептики называют это эффектом медового месяца: первые дни вы даёте модели простые задачи и восхищаетесь, а потом упираетесь в её реальный потолок Компании намеренное ухудшение отрицают, и доказательств, что оно есть, тоже нет. 📌 Что думаю я Сказать, что модели отупели, я не могу. Сейчас я с головой в двух проектах: сквозная аналитика для клиентов (дашборды, сведение данных из кучи источников, ИИ-агент, который анализирует цифры и консультирует команду) и агенты для торговой компании, которые быстро находят товар и считают наценку. Моя связка простая: 1️⃣ Opus 5.5 в Claude за $200: основная работа. Он шикарен. 2️⃣ Codex: ревью кода после каждой итерации, плюс монтаж видеороликов. За те деньги и лимиты, которые сейчас даёт OpenAI, жаловаться просто грех. Иногда мне кажется, что мы просто привыкли и хотим невозможного, хотя невозможное уже происходит. Я помню GPT-3.5 и как я радовался тому, что она умеет. То, что есть сейчас, это подарок, особенно для людей, которые не умеют программировать. Да, местами ИИшка тупит. Иногда приходится повозиться: переформулировать, оптимизировать, чаще проверять. Но я всегда говорил и буду говорить: не бывает так, что нажал одну кнопку и всё готово. Задача человека просто сместилась: чёткое ТЗ, контроль, тесты, проверка и снова по кругу. Как проверить, что модель стала хуже❓ Ощущения обманывают: сегодня задача сложнее, завтра промпт короче, послезавтра вы устали. Поэтому вместо «по-моему, хуже стало» соберите себе мини-тест: 1️⃣ Возьмите 3–5 реальных задач из своей работы: письмо клиенту, разбор таблицы, описание товара, кусок кода 2️⃣ Сохраните промпт и результат, которым вы довольны. Это ваш эталон 3️⃣ При каждом обновлении или если кажется, что модель «поплыла», прогоняйте те же задачи с тем же промптом 4️⃣ Сравнивайте с эталоном, а не с воспоминаниями Если результат стабильно хуже на ваших задачах, это повод менять модель или промпт, а если нет, значит, дело в ожиданиях. 👉 Про то, как решать, переходить ли на новую модель, я писал в посте про Astra #нейросети #ChatGPT #Claude #ИИвбизнесе —————————————— Если хочешь разобраться как выстроить работу с ИИ под свои задачи — жду тебя на НейроМаксе 👉 Забрать доступ