Локальный ИИ ответил на вопрос из соседнего чата. В Project Maya нашли причину: на Wind...
Локальный ИИ ответил на вопрос из соседнего чата. В Project Maya нашли причину: на Windows с AMD новый разговор иногда начинался с состояния предыдущего. Maya запускает GLM-5.3-Flash на своём железе. В модели 321 млрд параметров, но она не держит всё в видеокарте: нужные блоки раскладывает между видеопамятью, обычной RAM и быстрым SSD. В свежей версии 1.1.4 поправили очистку состояния между разговорами. Там же починили сочетание сжатой сборки EXL3 с ускорителем DFlash2: раньше оно могло превращать ответ в шум. Ещё полезнее вчерашняя калибровка: программа сравнивает два способа генерации на вашем ПК и оставляет быстрый. «Ускоритель» на другом железе способен сделать медленнее — теперь это проверяется замером. Код, сборки и инструкция находятся в Project Maya. Минимум — 32 ГБ RAM, подходящая видеокарта и быстрый NVMe примерно со 100 ГБ свободного места под младшую сборку. Windows и AMD пока экспериментальные. Большая модель дома — уже рабочий проект. Только домашним от этого не становится объём её багажа.