🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
🖼️ NeoMME: компактные модели ищут по скриншотам документов без OCR
Команда H Company (авторы ColPali) открыла NeoMME — семейство мультимодальных энкодеров на 260M и 800M параметров под лицензией Apache 2.0. Один двунаправленный Transformer обрабатывает и текст, и картинки, поэтому отдельный vision-энкодер не нужен.
NeoMME-Retriever индексирует страницы PDF, слайдов и таблиц напрямую по скриншотам — без этапа OCR. Младшая версия обрабатывает около 51 страницы в секунду, а сжатие индекса late-interaction ужимает хранилище с 1,5 МБ до ~6 кБ на страницу при сохранении более 95% качества поиска.
Практическая польза — визуальный RAG по документам, из которых текст плохо извлекается: сканы, отчёты, презентации. Модели подключаются через Sentence Transformers, демо уже готовы, так что поиск по своей библиотеке файлов можно собрать без тяжёлой инфраструктуры.
🌐 Источник: Hugging Face
#ИИ #модели #RAG #поиск #открытый_код