🤖 FreeToken
🤖 FreeToken 👁️ Движок инференса MoE-моделей с открытыми весами, рассчитанный на запуск крупных моделей на пользовательском железе. Он позволяет запускать модели с 290+ млрд параметров на игровых ПК и рабочих станциях, объединяя GPU, CPU и оперативную память в единую среду инференса. Поддерживаются NVIDIA RTX 30/40/50, различные форматы квантования и совместимые с Anthropic/OpenAI API для подключения инструментов и агентов. ❗ Подойдёт разработчикам и исследователям, которые хотят запускать крупные MoE-модели локально без серверной инфраструктуры. Проверить в деле tags: #утилиты #ии #полезно 🧭 @recura_tech
218 просмотров