Fine-tuning LLM без дорогих GPU — это реально
Fine-tuning LLM без дорогих GPU — это реально Разработчик делится опытом, как дообучил небольшую LLM на бесплатном Colab — без своей видеокарты и без аренды H100. Fine-tuning — это «дотренировка» уже готовой модели на ваших данных (например, на корпусе support-вопросов). Модель не учится с нуля, а только подстраивается под узкую задачу. Главные трюки автора: - LoRA (Low-Rank Adaptation) — вместо переобучения всех 7 млрд параметров обучается тонкий «адаптер» в 1-2% от размера. Влезает в 16 GB видеопамяти Colab T4. - 4-bit квантизация — модель ужимается с 16 до 4 бит на параметр. Качество почти не падает, память в 4 раза меньше. - Google Colab Free даёт T4 на ~12 часов в день — этого хватает на цикл под небольшую задачу. Порог входа в fine-tuning сейчас ниже, чем кажется. @prog_point (теперь ещё в VK и Max)