Micron, по сообщениям, изучает near-GPU NAND Flash для инференса больших LLM
Micron, по сообщениям, изучает near-GPU NAND Flash для инференса больших LLM Сообщается, что Micron изучает идею high-endurance NAND Flash, размещённой ближе к GPU. Если концепция дойдёт до реализации, такой уровень памяти должен занять место между памятью GPU и обычным системным хранилищем и работать как быстрый буфер для задач, которым не нужна задержка и пропускная способность HBM или обычной DRAM. По описанию, акцент сделан на скорости ввода-вывода, пропускной способности и времени чтения. Отдельно указывается, что подход может дать сотни гигабайт ёмкости на корпусе GPU или на PCB и быть дешевле HBM или обычной DRAM. В теории это снижает риск упора LLM в память и помогает запускать их с меньшим числом GPU при дополнительных уровнях хранения. Но речь идёт не о подтверждённом продукте: реализация, конфигурация и сроки не раскрыты, а практическая эффективность пока неясна. Для разработчиков и энтузиастов AI это пока сигнал следить за тем, как рынок ищет компромисс между плотностью, долговечностью и стоимостью. Имеет смысл сравнивать такие схемы с HBM и DRAM именно по классу нагрузок, где запас по задержке ещё допустим, а объём уже критичен.