Стартапы бросают вызов трансформерам
Стартапы бросают вызов трансформерам Пока вся индустрия LLM стоит на архитектуре 2017 года, несколько команд предлагают принципиально другие подходы к вниманию, памяти и генерации. MIT Technology Review разобрал пять идей. Subquadratic делает attention разреженным и считает только нужные связи. Manifest AI хранит «power retention» — скользящее резюме контекста вместо полной матрицы. Liquid AI (выходцы из MIT) смешивает трансформеры с жидкими нейросетями, вдохновлёнными мозгом червя, и запускает модели даже на Raspberry Pi. Inception генерирует сразу целые блоки текста методом диффузии (как в картинках) и обещает 10× ускорение. Pathway уходит от последовательного языка к state-space и решает задачи вроде сложных судоку, где классические LLM буксуют. Трансформеры стали узким местом по энергии и длине контекста. Эти подходы пытаются снять ограничение. Источники: https://www.technologyreview.com/2026/08/10/1141511/these-startups-are-chasing-the-next-big-thing-in-llms/ #AI #LLM #Transformers #АрхитектурыИИ #Стартапы #ExceptionExpert