Глава Qualcomm Криштиану Амон заявил, что ИИ-компании уже разрабатывают смартфоны, спос...
Глава Qualcomm Криштиану Амон заявил, что ИИ-компании уже разрабатывают смартфоны, способные запускать локальные языковые модели на 100 млрд параметров. Однако у этой идеи есть два серьезных препятствия: объем оперативной памяти и ее стоимость в нынешних реалиях. Даже при 4-битном квантовании модели такого размера потребуется около 50 ГБ памяти — и это без учета ОС, приложений и контекстного окна. При 2-битном квантовании требования снизятся примерно до 25 ГБ, но качество ответов будет оставлять желать лучшего. Дополнительная проблема — нагрев: продолжительная работа крупной модели способна вызвать троттлинг и снизить производительность. Один из вариантов — использование MoE-моделей, где активные эксперты используют оперативную память, а остальные веса загружаются во флеш-память. Это позволяет сократить требования к DRAM, но увеличивает задержки, поскольку накопители заметно медленнее оперативной памяти. Другой путь — агрессивное квантование или компактные дистиллированные модели на 20-30 млрд параметров, которые могут приблизиться к более крупным системам по качеству в отдельных задачах. 😅 Канал Serverflow в MAX: Подписаться