Когда ИИ создает сам себя — 4 июня 2026 г. в 19:57:25.936
Когда ИИ создает сам себя так называется новая публикация Anthropic, где они показывают эволюцию успешности сессий работы с Claude. Не буду останавливаться, что в данном случае Claude сам оценивает Claude, важно как раз другое. Модели становятся умнее в решении открытых задач, но глупеют в тривиальных! Вот эту оранжевую линию - успешности тривиальных задач, которая снизилась где-то на 5% - я на себе и прочувствовал в течение апреля-мая на все 100%. И она как раз наиболее опасная Что происходит: 1. Вы привыкаете к модели. понимаете, где она может ошибиться. уже знаете в чем ей можно доверять, потому что в 99% случае она справлялась и глаз легко находит оставшийся 1% 2. А потом модель "умнеет" :) 3. Она начинает решать "открытые задачи" - на практике это означает, что модель начинает тратить дольше времени на размышления и часто решает не те задачи, какие нужно, в процессе понимая это и отказываясь от них. В итоге вы просто дольше ждете результата. 4. И модель начинает чаще ошибаться в простых задачах - на практике, это означает, что на самом старте своего "размышления" она может банально ошибиться в мелочи, но построить на базе этого весь свой процесс рассуждения и создания "правильного" результата. 5. Результат - вы видите, что модель ошиблась, но намного позже и понимаете, что она ошиблась из-за мелочи, в которой раньше не ошибалась (от подстановки английских букv в русские sлова, до выдумавания собственных требований в разработке или удаления разделов текстов, потому что посчитала, что сейчас самое лучшее - ограничить объем документа) ИИ сейчас несовершенен. Для работы с ним в агентном режиме всё еще требуется человек в контуре для большинства задач. Поэтому, чем быстрее мы видим, что что-то идет не так - тем быстрее можем отреагировать. Но чем дольше модель думает, тем дальше наша реакция. Как сейчас "решает" эту проблему Anthropic? просто увеличил в рамках подписки число доступных токенов, чтобы не жаловались. Как придется ее решать нам самим? Правильно проектировать контур автономизации, выстраивать петли обратной связи, и сокращать расстояние между ошибкой модели и ее обнаружением. Пространство того, где модель может свернуть не туда, растет быстрее, чем наша способность это контролировать. И тут главное - не надорваться в выборе модели. Умнее не значит надежнее для вашей задачи.