ZFS-архитектура для AI-инфраструктуры: дедупликация датасетов, снапшоты моделей и устра... — 27 июля 2026 г. в 23:15:56.030
ZFS-архитектура для AI-инфраструктуры: дедупликация датасетов, снапшоты моделей и устранение I/O-шейнков на bare metal В продакшене, где обучаются модели или индексируются миллиарды эмбеддингов, классические файловые системы быстро превращаются в узкое место. ext4 не умеет делать мгновенные консистентные снимки при сохранении чекпоинтов, а XFS страдает от фрагментации при активной записи векторных баз и временных артефактов фреймворков. ZFS закрывает эти дыры на уровне кода файловой системы, но требует строгой настройки под NVMe-массивы и паттерны записи AI-нагрузок. Ниже — готовая схема внедрения без потери throughput и перерасхода RAM. Архитектура строится на жёстком разделении потоков по датасетам: raw-data (преимущественно чтение), checkpoints (частые переписывания весов), vector-store (случайная запись индексов). Ключевое правило эксплуатации ZFS в AI-кластерах — дедупликация включает только для статических артефактов, иначе хеш-таблица раздуется, а CPU будет тратить циклы на сравнение блоков вместо инференса. Сжатие ставится на zstd с уровнем 1–3 для баланса latency/compression ratio. Для оркестрации используется официальный CSI Driver, который мапит ZFS-пулы в PersistentVolumeClaims без прослойки Ceph или Longhorn, экономя сеть и CPU на replication traffic. #AI #LLM #DevOps #OpenSource