Искусственный интеллект посадили на жесткую диету: ученые из МФТИ совершили чудо компре...
Искусственный интеллект посадили на жесткую диету: ученые из МФТИ совершили чудо компрессии Задумывались ли вы, почему современные дата-центры с их прожорливыми нейросетями напоминают многодетную семью в супермаркете перед праздниками? Они поглощают электричество мегаваттами, а терабайты оперативной памяти исчезают быстрее, чем подарочные конфеты со стола. Но эпоха безудержного цифрового обжорства, похоже, подходит к концу. Российские физики и лирики из МФТИ изобрели для кремниевых мыслителей идеальный корсет. Умная сушка для пухлых гигантов Отечественные кудесники кода представили миру алгоритм с поэтичным названием HARP. Эта хитроумная система умеет сжимать исполинские языковые модели почти вдвое, не выбивая при этом из их электронных голов здравый смысл. Испытания проводили на признанных тяжеловесах цифрового ринга — моделях Llama и Qwen. Результат изумил даже скептиков: при максимально суровой компрессии уровень ошибок не просто удержался в рамках приличий, а снизился на 15 процентов по сравнению с обычными методами сжатия. Как говаривал мудрый Козьма Прутков: «Нельзя объять необъятное» . Но ребята из Долгопрудного, судя по всему, с классиком решили вежливо поспорить — и просто аккуратно упаковали необъятное в стильный чемоданчик на колесиках. Секрет калибровки без мучительных тренировок До сих пор попытка урезать аппетиты искусственного разума напоминала классическую дилемму: либо модель думает со скоростью света, но несет очаровательную чушь, либо блещет эрудицией, но требует под свои нужды персональную гидроэлектростанцию. Ученые обычно используют квантование — хитрый трюк, когда тяжелые числовые веса заменяются на легковесные биты. Однако именно здесь кроется ловушка потери точности. Алгоритм HARP действует деликатно, словно швейцарский часовщик с ювелирным пинцетом. Старший исследователь лаборатории фундаментальных исследований ИИ МФТИ Глеб Молодцов пояснил суть магии: системе требуется немного времени на старте, чтобы подобрать идеальные преобразования для каждого слоя нейросети. Зато потом — сплошной восторг: модель летает в два раза быстрее, занимает минимум пространства в дата-центрах, и главное — ее не нужно заново переучивать годами, достаточно лишь легкой калибровки. ⚙ Щедрость физтеховского масштаба Самое приятное во всей этой истории — бескорыстие первооткрывателей. Алгоритм и уже приведенные в форму нейросети выложили в открытый доступ для всего мирового сообщества. Берите, пользуйтесь, разгружайте серверы и экономьте серверное пространство. Ведь истинный прогресс измеряется не гигабайтами потраченной памяти, а изяществом инженерной мысли, способной превратить громоздкого динозавра в грациозную ласточку, открывая дорогу в будущее, где высокие технологии доступны каждому владельцу скромного ноутбука. ✨ далее на https://movosti.ru/iskusstvennyj-intellekt-posadili-na-zhestkuyu-dietu-uchenye-iz-mfti-sovershili-chudo-kompressii/