Ян ЛеКун о языковых моделях: почему LLM не заменят человеческий интеллект
Ян ЛеКун о языковых моделях: почему LLM не заменят человеческий интеллект Ян ЛеКун, один из основоположников Data Science и глава подразделения фундаментальных исследований Meta (запрещена в РФ), считает, что языковые модели (LLM) переоценены и не смогут заменить человеческий интеллект. Он классифицирует современные LM как «интуитивных мыслителей», которые лишь запоминают и повторяют последовательности слов, не понимая сути сгенерированного текста. В отличие от них, алгоритмы с «моделью мира» (world model) способны к глубокому мышлению и могут стать искусственным интеллектом уровня человека. ЛеКун предложил архитектуру Joint Embedding Predictive Architecture (JEPA), которая обучается предсказанию эмбеддинга — числового вектора, кодирующего абстрактный концепт. Например, модель I-JEPA учится предсказывать эмбеддинг части изображения по эмбеддингу другой части того же изображения. Это позволяет модели понимать суть картинок, а не просто их запоминать. Обучение JEPA-моделей происходит в self-supervised режиме, что позволяет им лучше обобщать данные. ЛеКун не отрицает полезности LLM, но считает, что увеличение их размера или объёма датасетов не приведёт к появлению реального интеллекта. При этом есть исследования, показывающие, что у LLM в зачаточном состоянии всё же есть «модель мира».