Миньоны теперь распределяют ИИ-мощности в Apple
Миньоны теперь распределяют ИИ-мощности в Apple Исследователи компании представили Minions — систему, которая превращает простаивающие GPU Mac’ов в общее вычислительное облако. Причина житейская: некоторые ИИ-задачи внутри компании ждали свободных серверных GPU больше десяти часов. А на столах стояли компьютеры с незанятыми ускорителями. Под капотом — сервер-координатор, очередь в PostgreSQL и программа-исполнитель на каждом Mac. Сервер разбивает задачу на независимые порции; компьютеры сами забирают их через API. База гарантирует, что одну порцию не схватят одновременно два исполнителя. Исходные данные и результаты хранятся в Amazon S3, модели скачиваются и кешируются локально. Языковые модели запускаются через Ollama, модели для эмбеддингов — через Hugging Face Transformers. Каждый Mac выполняет свою порцию с локальной моделью. Такая схема позволяет параллельно обрабатывать множество запросов или документов. Если компьютер уснул или владелец остановил исполнителя, система возвращает незавершённую работу в очередь. Несколько команд Apple уже пользуются Minions: задачи часто стартуют через минуты вместо часов. Самая прекрасная деталь исследования — сотрудники пишут коллегам в Slack и просят временно подключить компьютеры к конкретному проекту. Когда такая работа заканчивается, компьютеры переключаются на задачи остальных. Получается вычислительная взаимопомощь: сегодня коллеги помогают тебе, завтра твой Mac разгребает их очередь. У Nvidia, кстати, есть похожий инструмент PAIR: он распределяет независимые запросы между компьютерами с RTX, DGX Spark и совместимыми Mac’ами в локальной сети. Доступен под Apache 2.0. Ждём, когда своих парных миньонов в опенсорс покатят яблочники. @anti_agi