🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
⚡ Промпт, который гасит ложные срабатывания VLM
Zero-shot детекция по картинке часто «находит» объект там, где его нет: VLM отмечала дым на 70% заведомо чистых кадров, а на отдельных видео — до 96%. Постобработка не помогла: шкала confidence вырождена, срабатывания стабильные, боксы правдоподобные.
Причина в формате ответа. Детекция — это два решения: «есть ли объект» и «где он». Когда их склеивают в один шаг и один JSON, модель уходит в «объектную» ветку и почти не возвращает пустой ответ. В 21% ложных детекций она ставила бокс с confidence 0.0 и тут же писала текстом, что дыма нет.
Рабочее решение — развести шаги внутри одного запроса. Сначала одна строка-решение свободным текстом: есть ли объект, причём «ничего нет» объявлено нормальным ответом. Затем JSON с координатами — последней строкой. Ложные тревоги на проблемных камерах упали с 70% до 0%, FPR — с 10.6% до 0.6% при recall выше 80%, цена — плюс 0.1 с на кадр.
Приём переносится на любую VLM-детекцию: сначала «есть ли объект», потом «где он».
🌐 Источник: Habr
#ИИ #Промптинг #VLM #КомпьютерноеЗрение #ПромптИнжиниринг