LLM delenda est
LLM delenda est или Язык до AGI не доведет Свежее интервью Яна Лекуна подтвердило за ним статус версии римского сенатора Катона Старшего от мира ИИ/ML. О каких бы прорывах ни рапортовала индустрия, Лекун неизменно выходит на трибуну со своим бессменным: «Впрочем, я считаю, что авторегрессионные LLM ведут в тупик, и должны быть отброшены». В интервью прозвучало традиционное скептическое ворчание, а также интересная фактура изнутри Meta*. 🤖 Суть лекуновского «Карфагена» проста: кремниевая долина тратит сотни миллиардов долларов на продвинутый Т9, путая имитацию с разумом. LLM работают авторегрессионно в пространстве токенов, у них нет здравого смысла и способности планировать. Они принципиально небезопасны на системном уровне, а значит никакие фильтры, RL и файнтюн не избавят их от галлюцинаций, поскольку внутри архитектуры нет понимания физики реальности. 🐷 Лекун резонно иронизирует над стадным поведением бигтехов, которые пытаются залить проблему неэффективности данными, сжигая ресурсы на генерацию синтетического видео и обучение роботов банальному подражанию (imitation learning). Он приводит простой пример: 17-летний подросток схватывает навыки вождения за 20 часов без всяких симуляций, а беспилотникам требуются миллионы часов данных, и они всё равно пасуют перед редкими ситуациями. Язык — слишком узкий субстрат, LLM уперлись в непрерывный физический мир. Ну и на закуску корпоративная драма. Лекун откровенно рассказал, почему покинул Meta*. В 2023 году на волне успеха первой Llama Цукерберг поддался панике и краткосрочному давлению инвесторов, создав подразделение GenAI. В итоге средний менеджмент и коммерческие задачи полностью сожрали долгосрочное видение: фундаментальные поисковые исследования в FAIR лишились приоритета, а команду робототехники просто распустили. Внутри корпорации развивать науку Лекуну больше не дали, и он ушел делать стартап AME Labs, развивать архитектура JEPA. Вместо предсказания пикселей или токенов его система учится прогнозировать последствия действий в абстрактном пространстве представлений. 👁 Параллельно Лекун продвигает проект Tapestry — платформу глобального федеративного обучения. Через обмен весами параметров (без передачи самих данных) он хочет дать условной Индии или Бразилии цифровой суверенитет, чтобы их граждане не подвергались «промывке мозгов» базовыми моделями с зашитыми ценностями Калифорнии или Пекина. 📚📚📚Катон твердил свою фразу годами, пока Рим действительно не сравнял Карфаген с землей. По прогнозу Лекуна, всеобщее осознание того, что парадигма LLM зашла в тупик и бесконечное расширение дата-центров не сделает модели умнее, наступит уже в 2027 году. Посмотрим, засыплют ли солью серверные стойки с трансформерами 😏 * — Meta признана экстремистской и запрещена в России @anti_agi