Cloudflare сократила записи DNS-кэша и освободила около 100 ТБ ОЗУ
Cloudflare сократила записи DNS-кэша и освободила около 100 ТБ ОЗУ Cloudflare показала, как оптимизация структуры данных в крупном DNS-сервисе даёт эффект без замены железа. В системе Big Pineapple для 1.1.1.1 размер каждой кэшированной записи сократился с 953 до 420 байт после пяти изменений на уровне Rust. На глобальном парке это, по заявлению компании, высвободило примерно 100 ТБ ОЗУ. Для инженеров здесь важен не только объём экономии, но и побочный выигрыш по скорости. Пропускная способность вставки выросла до 893000 записей в секунду с 625000, а задержка поиска снизилась до 670 наносекунд с 828. Во время развёртывания p99 resident memory на экземпляр упала с 9,3 ГБ до 5,3 ГБ. Cloudflare хранит более 250 миллиардов кэшированных DNS-записей, поэтому даже один лишний байт на запись масштабируется до сотен гигабайт. Компания планирует вернуть освобождённую память в более крупные DNS-кэши, чтобы повысить hit rate и снизить upstream-трафик. Практический вывод простой: при больших объёмах данных экономия памяти часто начинается с формата записи и упаковки структур, а не с покупки новых модулей. Такой подход полезен там, где кэш и задержка критичны, но переносится он только на системы, где допустима глубокая переработка хранения и кода.