Словарь ИИ 🔺 токен🔻 — 11 июля 2026 г. в 04:57:00.344
Словарь ИИ 🔺 токен🔻 ◽Буквально Token [то́укен] — знак, символ, жетон или талон. Такая единица может что-то обозначать, подтверждать или давать право на обмен. ◽В ИИ Языковая модель делит текст на токены: слова, части слов, знаки препинания, числа или пробелы. Через токены измеряют объём запроса и ответа, размер контекстного окна, лимиты использования и стоимость генерации. ◽В промптологии Токен показывает, что пространство запроса ограничено. Пользователь распределяет это пространство между задачей, контекстом, примерами, условиями и ожидаемым результатом. ◽Пример Когда пользователь загружает изображение, модель не видит его как цельную картинку. Система делит изображение на участки и переводит их признаки — положение, цвета, контуры и детали — во внутренние числовые представления. Такие представления можно рассматривать как визуальные токены, с которыми модель дальше связывает текстовый запрос. #промптология #СловарьИИ