🔤 В чём нейросеть считает ваш текст
🔤 В чём нейросеть считает ваш текст Учитель загружает в чат рабочую программу, учебник и методичку, задаёт вопрос и получает ответ мимо. Или нейросеть сообщает, что файл слишком большой. Чтобы понять, сколько в неё помещается, надо знать, в чём она считает. Она считает в токенах. Токен — это кусочек слова: нейросеть режет текст на такие кусочки и работает уже с ними. Слово «учительница» для неё три кусочка: уч, итель, ница. Английское teacher один. Почему так: английского текста при обучении было больше, и английские слова чаще остаются целыми, а русские дробятся. Знаки и цифры тоже идут в счёт: дата 12.10.2026 занимает шесть токенов. Значит, писать ей надо по-английски? Нет. На настоящем запросе учителя, около 330 знаков про план работы, выходит 96 токенов по-русски и 88 по-английски. Разница девять процентов, а точный запрос на родном языке важнее. —————— Зачем это знать: 🔹 страница русского текста занимает около 500 токенов 🔹 рабочая программа на 30 страниц весит примерно 15 тысяч, учебник на 200 страниц около 100 тысяч 🔹 место у нейросети не бесконечное: у ChatGPT в режиме размышления 256 тысяч токенов на всё сразу, на файлы, переписку и ответ Поэтому не загружайте учебник целиком. Дайте нужный параграф, и места хватит на разговор. Счёт сделан токенизатором OpenAI, у других нейросетей цифры немного другие.