🔢 Токены: почему ИИ считает текст не словами и не буквами?
🔢 Токены: почему ИИ считает текст не словами и не буквами? Каждый раз, когда вы пишете нейросети, она не читает ваш текст как мы. Слово «нейросеть» — для модели это не одна единица, а набор фрагментов. Эти фрагменты и называются токенами. Что такое токен? Токен — это кусочек текста, из которого нейросеть складывает всё остальное. Для русского языка в среднем: — 1 слово ≈ 1–3 токена — 1000 знаков текста ≈ 250–400 токенов Например, слово «машинное» может разбиться на «машин» + «ное». Английский «unbelievable» — на «un» + «believ» + «able». Зачем вообще это нужно? 1️⃣ Так модель «понимает» язык. Нейросеть обучалась на триллионах токенов и научилась предсказывать, какой токен идёт следующим. Именно так она генерирует ответы. 2️⃣ Ограничение контекста. У каждой модели есть окно контекста — максимальное количество токенов, которое она может учесть за раз (от нескольких тысяч до миллионов). И ваш запрос, и ответ модели занимают место в этом окне. Переполните — старые сообщения «вылетят» из памяти диалога. 3️⃣ Так считается цена. API-модели тарифицируются именно токенами: столько-то за входящие, столько-то за исходящие. Отсюда совет: длинные системные промпты и вложенные документы — это деньги. 4️⃣ Эффективность. Разбивка на токены универсальна: она работает для любого языка, кода, чисел и даже эмодзи — не нужен отдельный словарь для каждого языка. 💡 Практический вывод Токены — это «калории» текстового ИИ. Чем экономнее формулируете запрос, тем быстрее, дешевле и точнее работает модель. Проверить, сколько токенов в вашем тексте, можно через токенизатор на сайте разработчика модели