НС
Нейро-Инсайдер: Слухи об ИИ, Новости про нейросети.
IT и технологии · 10 октября 2026 г.
Релиз Superfluid
Релиз Superfluid Вышел инструмент Superfluid, предназначенный для приоритизации запросов при работе с локальными моделями. Система позволяет интерактивным запросам обходить очередь фоновых агентов, работая поверх llama.cpp/GGUF и MLX. Согласно тестам разработчиков на модели Qwen3.8-27B, время до получения первого токена сократилось с 291–612 секунд (при использовании стандартных серверов) до 1,5 секунд. Инструмент поддерживает API OpenAI, Anthropic и Ollama, а также позволяет распределять сессии между несколькими локальными машинами. Проект распространяется под лицензией Apache 2.0. ⚡ 📰 Подписаться на канал
4 просмотров