DeepSeek-OCR: новая модель для OCR-задач
DeepSeek-OCR: новая модель для OCR-задач Авторы исследования представили модель DeepSeek-OCR, которая фокусируется на двух ключевых аспектах: создании эффективной VLM-модели для OCR-задач и изучении влияния размера изображения на качество работы модели. OCR-задачи, связанные с чтением текста, широко распространены как среди обычных пользователей, так и в бизнес-процессах. Для их решения не требуется сложных вычислений, поэтому разработка легковесных VLM-моделей актуальна. В работе рассматриваются два подхода к динамическому разрешению в VLM: tile-based-resolution (изображение разрезается на квадраты) и native-resolution (энкодер обучается работать с изображениями любого размера). Архитектура DeepSeek-OCR включает картиночный энкодер, соединённый с предобученной LLM (DeepSeek-3B). В качестве энкодера используется пайплайн из SegmentAnything (SAM-ViT-Det), свёрточного адаптера и CLIP (CLIP-ViT), который авторы называют DeepEncoder. Модель обучается на данных, включающих более 100 языков, с упором на печатный текст, графики, таблицы и формулы.