Проект Cactus Hybrid предлагает небольшие on-device модели ИИ, которые умеют оценивать ...
Проект Cactus Hybrid предлагает небольшие on-device модели ИИ, которые умеют оценивать собственную уверенность в ответах. Если уровень уверенности ниже заданного порога, запрос автоматически перенаправляется на более мощную облачную модель. Такой подход снижает нагрузку на облако: например, гибридная версия Gemma 4 E2B обрабатывает большую часть запросов самостоятельно, а только 15–35% сложных переадресует в облако. Cactus Hybrid показывает высокие результаты в качестве оценки правильности ответа (AUROC до 0.88 на аудиотестах), причём работает с текстом, изображениями и аудио. Для разработчиков доступны готовые инструкции для интеграции моделей через Cactus, Transformers, llama.cpp и MLX. Источник: https://github.com/cactus-compute/cactus-hybrid