Laplace 3B: фиксированное состояние вместо KV-кэша на Trainium2
Laplace 3B: фиксированное состояние вместо KV-кэша на Trainium2 Если гоняете агента с длинной историей на классическом трансформере, смотрите не только на окно контекста. На выдаче память под кэш ключей и значений растёт с каждым токеном — параллельность падает, а прод рано или поздно режет старую переписку ради стоимости. i14 сделала Laplace 3B на линейном внимании: состояние сессии фиксировано — 29,5 МБ, сколько бы контекста ни накопилось. AWS описала путь на Trainium2 с нативным PyTorch. Сравните с тем, как у вас сейчас считается бюджет на инференсе: здесь он не уползает вверх вместе с длиной диалога. Историю при этом сжимают в матрицу состояния — качество на своих задачах всё равно проверяйте отдельно.
7 просмотров