Что такое SpikeDecoder? Разбираемся вместе с лабораторией искусственного интеллекта «Кр... — 22 июня 2026 г. в 13:28:44.232
Что такое SpikeDecoder? Разбираемся вместе с лабораторией искусственного интеллекта «Криптонита» в рубрике #нейрословарь. ChatGPT, Gemini, DeepSeek и другие большие языковые модели (LLM) построены на архитектуре трансформеров. Они тратят много вычислительных ресурсов и, как следствие — энергии, обрабатывая каждый запрос. ❗️Ранее предпринималось множество попыток оптимизировать LLM. Один из популярных подходов заключается в использовании для отдельных компонентов LLM спайковых нейросетей (SNN — Spiking Neural Networks), снижающих объём самых энергозатратных вычислений — с плавающей запятой. Особенно это касается операций перемножения матриц, которые характерны для трансформеров. При этом разные SNN-адаптации предлагались в основном для энкодеров. Другую часть трансформеров — декодеры, оказалось адаптировать сложнее. ❗️Команда исследователей из Мюнхенского технического университета недавно представила SpikeDecoder — спайковый декодер для LLM. Это полностью спайковый декодер, который обучается напрямую. В SpikeDecoder используются спайковые нейроны типа LIF (Leaky Integrate-and-Fire). Они перенесены на входы блоков, чтобы полностью исключить умножения с плавающей запятой в остаточных связях (residual connections). ➡️ Авторы проанализировали различные варианты нормализации и остановились на степенной (power) достигнув точности 81,7%. Они объединили нормализацию с предшествующими ей линейными слоями, что устранило необходимость выполнять отдельные ресурсоёмкие операции нормализации над спайками. Разработчики заявляют, что SpikeDecoder снижает потребление энергии до 93% по сравнению с декодером классической архитектуры. Их работа показывает, что архитектуру трансформера можно реализовать полностью на спайках с сохранением обучаемости и драматическим выигрышем в энергоэффективности.