Kimi-VL: нейросеть с пониманием длинных контекстов
Kimi-VL: нейросеть с пониманием длинных контекстов Представлена нейросеть Kimi-VL, которая способна обрабатывать контексты длиной до 128 тысяч токенов, активируя всего 2,8 миллиарда параметров. На некоторых задачах она показывает результаты лучше, чем Qwen2.5-VL-7B, Gemma-3-12B-IT и GPT-4o-mini. У нейросети есть две версии: обычная и thinking, которая умеет вести длинные рассуждения. Для работы с изображениями используется специальный визуальный энкодер MoonViT, который преобразует изображения в 1D-векторы. Обучение модели включает несколько этапов: предобучение энкодера, совместную предварительную подготовку, оптимизацию производительности и увеличение длины контекста. Несмотря на хорошие результаты, модель пока недостаточно велика для решения узкоспециализированных задач и требует дальнейшего масштабирования и совершенствования алгоритмов обучения.