Florence: развитие моделей для визуальных задач
Florence: развитие моделей для визуальных задач Семейство моделей Florence продолжает развиваться. В 2023 году появилась Florence-2 — модель, которая делает ставку на качественно собранный датасет FLD-5B, а не на архитектуру. В основе архитектуры — схема энкодер-декодер-трансформер. Авторы сформулировали множество задач в формате «текст на входе — текст на выходе» и разделили разметку на три группы: понимание картинки в целом, локализация объекта и поиск объектов по признакам. Пайплайн обработки данных включает первичную аннотацию, фильтрацию и итеративное уточнение данных. FLD-5B содержит миллионы аннотаций и изображений. Florence-2 умеет выполнять более 10 задач, но не справляется со сложными инстрактами. Во второй статье предлагается использовать Florence-2 в качестве энкодера в VLM, что привело к появлению семейства Florence-VL. Модель демонстрирует высокую согласованность визуального энкодера и LLM, но подход не прижился из-за увеличения числа операций для получения фичей.