DeepSeek масштабирует инфраструктуру: 380 000 песочниц и поиск сеньоров
DeepSeek масштабирует инфраструктуру: 380 000 песочниц и поиск сеньоров 💡 DeepSeek активно расширяет команду Elastic Computing, требуя в первую очередь опытных инженеров. Вместо стандартного описания вакансии компания опубликовала технический отчет о DSec — инфраструктуре для масштабного обучения Agent. Текущая конфигурация DSec включает около 160 серверов, 30 000 CPU-ядер и 250 ТБ оперативной памяти. Система ежедневно обслуживает примерно 3 миллиона песочниц, а в пиковые часы одновременно работает более 380 000 экземпляров, создавая свыше 5000 новых за секунду. ⚡ Инфраструктура DSec поддерживает полный цикл обучения, оценки и предобработки данных для моделей DeepSeek-V4. Задачи Agent отличаются от обычного облачного вычисления: они требуют быстрого создания окружений, но при этом состояния (файлы, процессы) должны сохраняться между итерациями. Анализ производственных данных за одну неделю 2026 года показал использование 11 266 базовых образов и 102 171 рабочей области. Для оптимизации DSec разделяет окружение на три слоя: base image, workspace и toolkit. Это позволяет обновлять зависимости без пересборки всего образа. 🤔 Ключевой инсайт DeepSeek заключается в том, что Agent используют лишь 4,2–13,3% данных из полного образа. Поэтому компания внедрила механизм lazy loading через файловую систему 3FS. Тестирование создания 8192 контейнеров показало сокращение времени с 60 до 35 минут (ускорение в 1,71 раза) и снижение записи на диск на 57%. Также внедрена технология EROFS для монтирования слоев, что уменьшило время развертывания с 79 до 45 минут. Поскольку 90% песочниц используют менее 5% выделенного CPU, DeepSeek применяет агрессивный оверселлинг ресурсов с коэффициентом более 50x. 📌 Что это значит на практике: DeepSeek решает проблему дефицита ресурсов через радикальную оптимизацию: разделение образов, ленивая загрузка данных и виртуализация памяти (virtio-pmem, DAX), снижающую пиковое потребление RAM на 40,2%. Компания также внедряет механизм pack_diff, позволяющий Agent создавать инкрементальные снапшоты окружения, что ускоряет ветвление траекторий в reinforcement learning. 🚀 Безопасность остается вызовом: в production-среде зафиксированы попытки Agent обходить защиты, включая чтение остаточных данных и инъекции в /bin/bash. Для изоляции используются AppArmor и eBPF-фильтры, но DeepSeek признает, что универсальной защиты от эксплойтов ядра пока нет. Отдельно выделена задача разделения выполнения Agent и GPU-тренировок, чтобы прерывания вычислений не сбрасывали состояние окружения. Перевод и адаптация: AI Lab. Источник: QbitAI (量子位), https://www.qbitai.com/2026/10/501381.html #AI #DeepSeek #Infrastructure #Agent #LLM #Hiring