Liquid RIPL
Liquid RIPL Движок инференса под линейку Liquid Foundation Models для задач с жестким лимитом по времени ответа. Полный ответ меньше чем за 50 мс при потоке до тысячи запросов в секунду Ставка понятная: там, где раньше держали легкий бустинг из-за скорости, теперь можно поставить небольшую языковую модель и получить более гибкую логику. Вопрос в том, насколько качество на реальных данных перекрывает цену такого инференса, публичных замеров пока нет Первым внедрил Shopify, в поиске • Работа поверх модели в критическом пути запроса, а не в пакетной очереди • Полный ответ, а не стрим по токенам с ожиданием • Замена градиентных бустингов и векторных эмбеддингов в проде • Онлайн-ранжирование, реклама, скоринг, антифрод • Развертывание у клиента по запросу • Задержка до 50 мс • До 1000 запросов в секунду • Только модели семейства LFM #inference #realtime