ВАМ LLM ИЛИ LLM ПОБЫСТРЕЕ? 🔫
ВАМ LLM ИЛИ LLM ПОБЫСТРЕЕ? 🔫 ㅤ Команда ML-инженера Sber AI Артёма Снегирева выпустила FRIDA-Decisions — быстрый энкодер, который берёт на себя простые решения, пока LLM занимается сложными. Энкодер может использоваться для роутинга, guardrails, классификации и отбора документов для RAG. ㅤ Вот всё, что нужно знать о FRIDA: ㅤ 👉 примерно в 10 раз быстрее API по независимым замерам — 28–34 мс на запрос на RTX 5060 Ti 👉 просит всего 1,8 ГБ видеопамяти 👉 запускается на CPU через int8 ONNX 👉 новая задача не требует дообучения — достаточно передать новые варианты в JSONㅤ Модель не прогоняет текст заново для каждого варианта, а читает его один раз, поэтому разбирает каталог из 243 интентов за 0,44 вместо 4,65 секунды. На бенчмарке razvilka из 735 задач на русском FRIDA-Decisions набрала 0,893 — почти на уровне коммерческого API TypeSafe Jev (0,897). ㅤ Веса, код и демодоступны открыты по лицензии MIT: ㅤ 🤖 Демо 🤖 Модель 🤖 Бенчмарк 🤖 Код 🤖 Примеры
Канал в каталоге Максиметера
2 827 подписчиков · IT и технологии