🧠 Карпати: почему гигантские ИИ-модели — это костыль, а не прогресс
Андрей Карпати озвучил провокационный тезис: передовые модели огромные не потому, что задача сложная. А потому, что данные для их обучения — это цифровая помойка.
### 🗑️ Реальность датасетов
Когда мы представляем обучение ИИ, в голове всплывают статьи из WSJ, Википедия, научные публикации.
Реальность: откройте случайные документы из корпуса для предобучения, и вы увидите:
• Битый HTML и сломанную вёрстку
• Биржевые тикеры без контекста
• Спам, ботов, бессвязный машинный текст
• Дубли, ошибки, противоречия
### 🔑 Главный вывод
> Триллион параметров нужен не для интеллекта. А как движок сжатия, способный выжать смысл из потока мусора.
Большая часть параметров работает как банальная память, а не как механизм мышления.…