Можно было бы изобрести трансформеры, если плясать от памяти
Можно было бы изобрести трансформеры, если плясать от памяти Современные LLM тащат в башке узкоспециальную дичь из самых разных углов. Кейс: автор опаздывал на вечер настолок к друзьям и попросил Astra напомнить правила Dune: Imperium. Та без напряга продиктовала их, пока он рулил, и этого хватило, чтобы вспомнить правила и снова сыграть. Мы настолько привыкли допрашивать модели обо всём, что их жирный багаж знаний воспринимаем как само собой разумеющееся. В посте автор человеческим языком разжёвывает линейные отображения, MLP и самовнимание как типы хранения памяти. А уже отсюда можно вывести эвристики: сколько памяти способен удержать каждый слой. Читать далее 👉 Telegram | Max | 🌥 Claude и другие ИИ
15 просмотров