Заблуждение о больших контекстных окнах (1 млн. + токенов). Расскажем, потому что не вс... — 4 июня 2026 г. в 16:29:39.649
Заблуждение о больших контекстных окнах (1 млн. + токенов). Расскажем, потому что не все доходили до этих глубин. Сегодня уже многие модели поддерживают большие контекстные окна, то есть в идеале – можно долго-долго вести диалог, и ИИ не будет его забывать. Сразу рисуются картины больших книг, написанных “в 1 диалог”, глобальных массивов данных и т.д и т.п. На практике это пока совсем не так. Да, возможно, когда-то так и будет, но сейчас картина такая = редкие модели хорошо держат контекст уже даже после 70-100 тысяч токенов. А уже за 150 - 200 тыс. “сыпятся” все. Что это значит? Это значит, например, что ИИ уже попросту не помнит начало диалога и данные в нем. Да, что-то отрывочно – возможно. Но так, чтобы “как вчера” – нет. Будет путаться или отрицать. Значительно хуже становятся и когнитивные способности ИИ. Он уже насобирал в контекст всего подряд, и то, что с первого сообщения решится в новом диалоге, в старом он может вообще не решить или с жутким скрипом. Отсюда вывод: большие контекстные окна – не равны большим возможностям. Хотя, конечно, в ряде задач применять можно. Например, вывели болью и слезами ИИ на решение, переносить смыслы долго или лень в новый диалог, и вот он шпарит по какому-то паттерну в старом диалоге, как по колее. Вполне работает, хотя и тоже до поры. Опять же риск ошибок, сбоев и прочего возрастает кратно. В других случаях, когда важна свежесть, чистота ответов и идей, лучше перенести смыслы в новый диалог и работать там.