Делимся серией подкастов и статей про выбор моделей и self‑hosted LLM.
Делимся серией подкастов и статей про выбор моделей и self‑hosted LLM. Часть 1: как выбирать модели? Публичные бенчмарки превратились в маркетинг — лаборатории доучивают модели прямо на тестах, и цифры растут, а поведение на реальных задачах нет. Рабочий путь для компании — закрытый бенчмарк на своих репозиториях с метриками вроде доли задач, доведённых до PR без вмешательства разработчика. Смотреть на RUTUBE / Читать в РБК Часть 2: практика self-hosted LLM. Разбираем железо от игровых GPU до серверных решений и альтернатив NVIDIA. Сравниваем фреймворки инференса: TensorRT-LLM, vLLM и llama.cpp решают разные задачи и плохо взаимозаменяемы. Отдельно про квантизацию — 4 бита стали практической точкой баланса качества и скорости. Смотреть на RUTUBE Часть 3: в работе. Не забывайте подписываться на наши каналы: 🔥RuTube / РБК / Хабр / Дзен / ВК 🤝