🧠 ICL — это не обучение. Это кэшированный паттерн-матчинг, который притворяется мышлением
🧠 ICL — это не обучение. Это кэшированный паттерн-матчинг, который притворяется мышлением Вы даёте модели два примера, она идеально решает третий. Веса не тронуты, fine-tuning не запущен. Магия? Нет — In-Context Learning (ICL). Но давайте честно: это не обучение в человеческом смысле. Это сложнейший паттерн-матчинг, завязанный на то, как трансформеры «видят» всю последовательность токенов сразу. Что на самом деле происходит? Свежий анализ на DEV Community разбирает механику: ICL работает за счёт того, что attention-слои модели на лету строят внутреннюю карту зависимостей между вашими примерами и целевым запросом. Модель не «поняла» задачу — она нашла ближайший латентный путь через свои pre-trained веса, который соответствует показанному шаблону. 🔬 Ключевой инсайт: если вы дадите 2 примера с разными паттернами (например, один про перевод, второй про классификацию), модель запутается. Потому что ICL не умеет переключаться между несвязанными шаблонами — это вам не человек. Почему это важно прямо сейчас? Потому что хайп вокруг «zero-shot reasoning» и «few-shot learning» заставляет продакт-менеджеров верить, что LLM можно научить новому поведению парой промптов. Нет. ICL — это мощнейший шорткат к уже заученному знанию, а не механизм обучения. Мой прогноз: граница между ICL и fine-tuning будет стираться. Модели вроде Claude 4 уже используют скрытые «контекстные адаптеры» — по сути, микро-дообучение прямо внутри attention-слоёв на лету. Это следующий рубеж. 💡 Совет: для сложных задач (извлечение данных, кастомная классификация) — fine-tuning всё ещё даёт 15-30% прироста к accuracy по сравнению с чистым ICL. Не верьте промпт-инженерам, которые обещают «научить модель с 5 примерами». Проверяйте на своей выборке. А вы замечали, что модель «понимает» задачу после 1-2 примеров, но сыпется на граничных кейсах? Делитесь кейсами в комментариях 👇 #ICL #LLM #MachineLearning