Российские учёные ужали искусственный интеллект
Российские учёные ужали искусственный интеллект Исследователи МФТИ разработали HARP — способ лучше сохранять качество языковых моделей при сильном сжатии. Работа появилась на arXiv 28 мая 2026 года, обновлённая версия — 2 сентября. Сейчас разработка добралась до новостных заголовков. ▪️ Идея похожа на сборы чемодана: результат зависит не только от размера вещей, но и от того, как их уложить. HARP перед сжатием «перекладывает» данные модели в более удобное представление. ▪️ Перед «упаковкой» алгоритм меняет систему координат с помощью математических поворотов. В исходной точности такие преобразования сохраняют результат вычислений, зато последующее сжатие может пройти с меньшими потерями. ▪️ Повороты применяли и раньше. HARP подбирает их отдельно для каждого слоя и под конкретный инструмент сжатия. При этом сами преобразования остаются компактными, а заново обучать всю нейросеть не требуется. Разработку проверили на Llama и Qwen3. В одном из тестов Llama 2 7B получились такие скорости: ▪️ Несжатая модель — 61 токен/с. ▪️ Базовый метод сжатия — 142 токена/с. ▪️ Сжатие с HARP — 128 токенов/с, зато с более высоким качеством. Квантование используется повсеместно. У OpenAI есть публичный кейс: gpt-oss-20b в сжатом формате требует около 16 ГБ видеопамяти, а без — около 48 ГБ. Также Claude 3 Haiku — это буквально заквантованная Claude 3.5 Sonnet. ▪️ Исследователи немного уступили в скорости ради качества ответов модели. Код и подготовленные модели открыты, их можно протестировать. Подписывайтесь на Серверную