короче, вышел инструмент, который позволяет запускать огромные ИИ-модели на обычном дом...
короче, вышел инструмент, который позволяет запускать огромные ИИ-модели на обычном домашнем компьютере — без урезания качества и без облачных подписок. FreeToken от исследователей из нескольких американских университетов умеет распределять нагрузку между видеокартой, процессором и оперативной памятью так, чтобы модель работала быстро даже тогда, когда её веса не влезают в видеопамять целиком. Особенно это важно для MoE-архитектур (тип нейросетей, где при каждом ответе активируется только часть модели) — там держать всё в VRAM просто не нужно. По сравнению с популярным Ollama скорость генерации выросла в 3–4 раза, а обработка длинного запроса — в 6–30 раз. Есть и графический интерфейс: выбираешь модель, нажимаешь запустить, никакой ручной сборки из исходников 🖥️ Джипити короче