Tech Meridian ← К ЛЕНТЕ
EN

НОВОСТЬ · RESEARCH · #251

Тестирование подписей: оценка качества видеоподписей через тесты с вариантами ответов

В работе предлагается переопределить качество видеоподписей через призму информационной полноты и оценивать подписи с помощью тестов с вариантами ответов (MCQA), вместо простого сравнения с эталонными текстами. Метод призван учесть «многие-один» характер описаний видео и дать более детальную, ориентированную на содержимое оценку подписей для визуальных больших языковых моделей (VLLM).

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. В работе предлагается переопределить качество видеоподписей через призму информационной полноты и оценивать подписи с помощью тестов с вариантами ответов (MCQA), вместо простого сравнения с эталонными текстами.
  2. Метод призван учесть «многие-один» характер описаний видео и дать более детальную, ориентированную на содержимое оценку подписей для визуальных больших языковых моделей (VLLM).
  3. Более надёжная оценка, ориентированная на содержание, может снизить ложные штрафы за корректные, но лексически отличающиеся подписи и улучшить разработку и сравнение VLLM.

ПОЧЕМУ ЭТО ВАЖНО

Более надёжная оценка, ориентированная на содержание, может снизить ложные штрафы за корректные, но лексически отличающиеся подписи и улучшить разработку и сравнение VLLM.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1
01
APPLE MACHINE LEARNING RESEARCH ИССЛЕДОВАНИЕ
Putting Captions to the Test: Evaluating Video Caption Quality through Multiple-Choice Question Answering

Evaluating video captioning remains a critical challenge for Visual Large Language Models (VLLMs). Existing metrics primarily rely on matching generated text against ground-truth references. This paradigm suffers from the “one-to-many” nature of video description, where high-quality captions are often penalized for lexical mismatches or valid shifts in visual focus. Furthermore, such assessments are typically one-dim…

↗