Почему модели умнеют, а ответы становятся длиннее: разбор Chain-of-Thought на сосисках ...
Почему модели умнеют, а ответы становятся длиннее: разбор Chain-of-Thought на сосисках 🌭🧠 Спрашиваешь современную «думающую» нейросеть: «Сколько будет 2 + 2?» Раньше старый добрый GPT-3.5 без лишних соплей выплевывал «4» и уходил спать. Новые флагманские модели (o1, o3, R1) сначала 15 секунд впадают в экзистенциальный транс, генерируют внутри себя трактат на 4000 токенов о теории чисел, перепроверяют гипотезу Пуанкаре и только потом снисходят до ответа. Почему так происходит и почему это одновременно прорыв и головная боль? Объясняем Chain-of-Thought (цепочку рассуждений) на пальцах Раньше нейросеть работала по принципу интуитивного кота: увидела сосиску на столе — лапа дернулась — сосиска на полу. Модель угадывала каждое следующее слово чисто статистически, без «паузы на подумать». Если в задаче был логический капкан, она уверенно несла чушь. Новые модели обучили Chain-of-Thought (CoT, цепочка мыслей). Прежде чем выдать ответ человеку, модель проговаривает про себя длинный монолог: «Так, сосиска лежит на столе. Высота стола — 75 см. Коэффициент трения сосиски о скатерть...» «Если я прыгну с разбега, с грохотом упадет ваза. Человек выйдет из кухни и отберет добычу.» «Откат назад: план плохой. Пробуем альтернативный сценарий: запрыгнуть на стул бесшумно...» Она буквально пишет черновик, сама себя критикует, находит ошибки и только потом выдает результат. Поэтому они стали феноменально решать олимпиадную математику, писать сложный код и разбираться в запутанных договорах. Но есть нюанс: теперь этот внутренний философский монолог тратит токены, ваше время и нервы, когда вам нужен просто короткий факт. Как заткнуть внутреннего оратора: 3 лайфхака Если вам нужен четкий результат без простыни рассуждений: Жертвуйте «мышлением» ради скорости: для простых текстов, саммари писем и переводов не используйте тяжелые reasoning-модели (вроде o1). Берите обычные GPT-4o, Claude Sonnet или Flash-версии — они отвечают мгновенно. Ограничивайте длину на уровне задачи: прямо в промпте пишите: «Формат ответа: строго 1 предложение / маркированный список из 3 пунктов без вводных фраз и заключений.»Хак «Не думай вслух»: если пользуетесь продвинутой моделью, добавьте: «Сформулируй только финальный результат. Выкладки рассуждений оставь во внутреннем контексте, наружу выдай исключительно ответ.» Вывод Кота: Когда кот долго и неподвижно смотрит в стену, он не завис — он простраивает цепочку рассуждений (CoT), как эффективнее всего устроить тыгыдык в 4 утра. Нейросети научились тому же самому. Глубина мысли — это прекрасно для взлома квантовых алгоритмов, но если вам просто нужно узнать столицу Мадагаскара, не заставляйте кремниевый мозг защищать докторскую диссертацию.