IQuest-Q1: новая MoE-модель для агентных CLI-систем
IQuest-Q1: новая MoE-модель для агентных CLI-систем Представлена IQuest-Q1 — разреженная модель на основе смеси экспертов (MoE) с 320 миллиардами параметров, из которых при каждом запросе активируются только 15 миллиардов. Такая архитектура позволяет сочетать высокую производительность с умеренными вычислительными затратами. Модель ориентирована на агентные системы, работающие через командную строку, — то есть на сценарии, где ИИ автономно выполняет цепочки действий. Обучение проходило в три этапа. На первом этапе использовалась комбинация методов Stable SplitNorm, Muon и muP, а также двухступенчатая учебная программа: на второй ступени доля данных по программированию увеличивалась. Это позволило сохранить широкий запас стабильности между безопасной и оптимальной скоростью обучения. Второй этап — промежуточное обучение, в ходе которого состав данных расширялся по разным доменам и форматам. Третий этап — финальная донастройка, детали которой авторы пока не раскрыли полностью. Ключевая особенность IQuest-Q1 — эффективность при работе с агентными сценариями. Благодаря разреженной архитектуре модель может обрабатывать длинные последовательности действий и поддерживать контекст, не перегружая память. Это делает её перспективной для автоматизации задач в терминале, таких как управление файлами, запуск скриптов и взаимодействие с внешними сервисами. Разработчики позиционируют IQuest-Q1 как шаг к более надёжным и управляемым агентным системам. Однако полная оценка возможностей модели, включая тесты на бенчмарках и сравнение с аналогами, ещё предстоит. На данный момент опубликованы технические детали и архитектурные решения, что позволяет сообществу воспроизвести и проверить заявленные результаты. Главное: • 320B параметров, 15B активных — высокая эффективность • Трёхэтапное обучение: стабильность и расширение данных • Ориентация на агентные сценарии в командной строке • Открытые технические детали для воспроизведения #ИИ #MoE #АгентныеСистемы #CLI #Модель