Заставили ИИ-модель Jev играть в реверси: работает быстро и дёшево, но играет слабо
Заставили ИИ-модель Jev играть в реверси: работает быстро и дёшево, но играет слабо Автор из компании Updit построил прототип игры в реверси, где ходы за компьютер выбирает не обычная программа, а новая ИИ-модель Jev от TypeSafe AI. Цель была не сделать сильнейшего игрока, а опробовать API на практике: посмотреть скорость ответов и стоимость. Jev отличается от обычных языковых моделей: вместо генерации текста она получает данные о ситуации (state) и вопрос, а возвращает ответ в формате, пригодном для программы. Есть три режима — выбор одного варианта (Choice), оценка по шкале (Score) и вероятность истинности утверждения. Для реверси автор взял Choice: программа сама вычисляет все допустимые ходы, а модель выбирает один из них. Весь код — сервер на Deno с фреймворком Hono и интерфейс — писал ИИ-агент Codex по одному короткому промпту: через 20 минут была готова рабочая первая версия, но с недоделками (нет логов, не читался файл с API-ключом, «плавающая» доска, не использовался официальный SDK). Дорабатывали итеративно. Codex также сам добавил обычный локальный «эталонный» CPU — он перебирает все легальные ходы и оценивает их по весам позиций, числа перевёрнутых камней и углов. Он нужен был для сравнения и как запасной вариант: если API-ключ не задан или запрос к Jev не удался, игра переключается на локальную логику. Модель каждый ход получает доску 8×8 в виде массива (B/W/точка), легальные ходы с числом переворотов, легенду обозначений и карту весов клеток — подсказку «углы и клетки через один от угла ценнее». Ответ сверяется со списком легальных ходов; если модель назвала недопустимый ход, срабатывает локальный фолбэк. Автор отдельно предупреждает: показатель уверенности (confidence) из ответа нельзя читать как вероятность победы — корректный формат ответа и сильный ход не одно и то же. Результат по игре оказался разочаровывающим: приложение работает, Jev действительно выбирает ходы, но играет слабо — обычный локальный CPU заметно умнее, это подтвердили и коллеги в компании. Автор не считает это приговором модели: возможно, дело в слабой подаче данных и промпте, например в отсутствии учёта ходов на два-три вперёд; официальные рекомендации советуют дробить сложные решения на простые. Зато скорость и цена оправдали ожидания. Среднее время ответа API в логах — около 300 мс, быстрее привычных автору LLM. Стоимость по данным консоли TypeSafe за несколько партий — меньше $0,01; по расчёту автора при входной цене $0,042 за миллион токенов и бесплатном выводе одна партия (около 30 вызовов) обходится примерно в 0,19 иены, то есть $5 хватает примерно на 4000 партий. Это расчёт по официальному прайсу, а не зафиксированный счёт. Итог: это учебный прототип, а не готовый игровой ИИ — автор планирует дорабатывать подачу данных, чтобы хотя бы обойти локальный CPU. Замечание из соцсетей: часть задержки может быть связана с расстоянием до серверов из Японии. Источник: https://zenn.dev/update_it_inc/articles/830c5893d1b3ad