Jev: модель, которая думает не токенами, а решениями
Jev: модель, которая думает не токенами, а решениями Бывший исследователь OpenAI показал модель, которая в отдельных сценариях работает до 200 раз быстрее обычных LLM. Проект называется Jev, его представила TypeSafe AI — подробности в анонсе. Главное отличие: Jev не генерирует текст токен за токеном, а сразу выдает структурированный результат с вероятностями. Поэтому ей хорошо даются классификация, скоринг и маршрутизация, а вот генерация текста — не ее конек. В DOOM модель получала данные о происходящем и принимала около 10 решений в секунду — реагировала мгновенно. Час такой демонстрации обошелся примерно в $7. Цифры впечатляют: до 200 раз быстрее и до 450 раз дешевле альтернатив. Вход стоит $0,042 за миллион токенов, выход — бесплатно.