Модель на 120 млрд параметров запустили на распределенном кластере из шести потребитель...
Модель на 120 млрд параметров запустили на распределенном кластере из шести потребительских устройств Реддитор объединил Galaxy S24+, ПК с RTX 3060 (12 ГБ), бюджетный Windows-ноутбук и три разных MacBook/Mac mini в единый вычислительный кластер. Система смогла загрузить 4-битную квантованную версию LLM-модели gpt-oss-120b, требующую минимум 47 ГБ памяти. Технически запуск реализован через пайплайн-параллелизм (pipeline parallelism). Вместо полной загрузки весов на одно устройство слои нейросети были последовательно нарезаны и распределены между шестью узлами по локальной сети. Основную нагрузку взял на себя рабочий ПК, предоставивший 28.7 ГБ ОЗУ и ресурсы RTX 3060. Из-за задержек межпроцессного взаимодействия и разнородного железа скорость генерации составила всего 1.1 токена в секунду, что делает проект скорее доказательством концепции, чем практическим инструментом.
Канал в каталоге Максиметера
26 151 подписчиков · IT и технологии