LLM на часах и в браузере: Google открыла движок LiteRT-LM
LLM на часах и в браузере: Google открыла движок LiteRT-LM Google отдала разработчикам низкоуровневый C++-интерфейс LiteRT-LM — промышленного движка, на котором уже работают on-device LLM (Gemini Nano и Gemma) в Chrome, Chromebook Plus и Pixel Watch. Смысл простой: модель живёт на устройстве. Нет платы за каждый вызов API, текст суммируется и правится офлайн, первый токен должен приходить быстрее секунды даже на гигабайтных весах. Раньше это прятали за MediaPipe LLM Inference API, Chrome Built-in AI и Android AICore. Теперь можно собирать свои конвейеры на том же ядре. На практике это уже Web AI в браузере (самое широкое развёртывание Nano), помощь с вкладками и плотным текстом на Chromebook Plus и умные ответы на часах... Источники: https://developers.googleblog.com/on-device-genai-in-chrome-chromebook-plus-and-pixel-watch-with-litert-lm/ https://ai.google.dev/edge/litert-lm https://github.com/google-ai-edge/LiteRT-LM #AI #Google #LiteRT #GeminiNano #OnDeviceAI #Gemma