Apple выложила веса LensVLM-9B, модели, которая читает длинный текст в виде мелких карт...
Apple выложила веса LensVLM-9B, модели, которая читает длинный текст в виде мелких картинок и увеличивает только нужные страницы. Документ рендерится в страницы-миниатюры, которые занимают в 5, 10 или 15 раз меньше токенов, чем исходный текст. Модель пробегает по ним глазами, прикидывает, где лежит ответ, и вызывает инструмент read_page, чтобы получить полный текст именно этой страницы. Обычное визуальное сжатие упирается в разрешение: при сильном сжатии буквы становятся мельче, чем различает энкодер, и точность падает. Здесь миниатюры служат только картой документа, а читает модель уже развёрнутые страницы. По статье на семи бенчмарках с вопросами по длинному тексту при экономии в 4,3 раза, с учётом раскрытых страниц, точность почти как у исходной Qwen3.5-9B-Base на полном тексте. При сжатии в 10 раз она отвечает правильно в 52% случаев. Другие способы ужать контекст дают меньше: поиск нужных страниц через ColPali 42%, LLMLingua-2, которая выкидывает лишние слова, и Glyph, читающая текст с картинок без увеличения, около 33%. На коде подход тоже сработал, хотя на нём отдельно не учили. Дообучали SFT на синтетических примерах работы с инструментом, потом RL. Проверяли на документах до 32 тысяч токенов. Веса под исследовательской некоммерческой лицензией Apple. Код с демо после установки зависимостей запускается командой python scripts/run_demo.py. @neuro_channel