Green Contexts: одна GPU, несколько соседей в одном процессе
Green Contexts: одна GPU, несколько соседей в одном процессе Препроцессинг на той же видеокарте, что и локальный вывод модели — один процесс, задачи с разным темпом. Пока фон забирает очереди, жёсткой задержке достаётся остаток. NVIDIA пишет: делить карту между такими соседями без явных правил по-прежнему сложно. NVIDIA описала Green Contexts — явно задавать доли между соседями в одном процессе вместо планировщика по умолчанию. В посте: оператор с жёсткой задержкой рядом с фоном на пропускную способность, подготовка данных параллельно с выводом, несколько стадий пайплайна на одной карте. Если на своей машине скачет задержка под параллельной нагрузкой — сверьте с этими сценариями: часто виновата не модель, а то, как задачи делят карту. Кода в доступном тексте нет, только постановка и примеры.