ИССЛЕДОВАНИЕ · RESEARCH · #2096
Temporal Specification Guidance (TSG) для управляемой генерации видео из текста
В статье предложена Temporal Specification Guidance (TSG) — бездoбучная рамочная методика, которая задаёт временные требования в виде спецификаций Metric Temporal Logic и переводит их в дифференцируемые оценки выполнения по следам внимания «видео–текст»; градиенты этих оценок формируют смещения внимания, которые направляют процедуру десойлинга и дополняют classifier-free guidance. На эталонном наборе из 220 подсказок по 11 категориям временных ограничений предложенный подход повышает точность выполнения спецификаций на 9.5–20 процентных пунктов для пяти моделей, без привлечения внешних классификаторов или обратного распространения через видео-трансформер.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье предложена Temporal Specification Guidance (TSG) — бездoбучная рамочная методика, которая задаёт временные требования в виде спецификаций Metric Temporal Logic и переводит их в дифференцируемые оценки выполнения по следам внимания «видео–текст»; градиенты этих оценок формируют смещения внимания, которые направляют процедуру десойлинга и дополняют classifier-free guidance.
- На эталонном наборе из 220 подсказок по 11 категориям временных ограничений предложенный подход повышает точность выполнения спецификаций на 9.5–20 процентных пунктов для пяти моделей, без привлечения внешних классификаторов или обратного распространения через видео-трансформер.
- TSG даёт практичный, модель-независимый способ обеспечить порядок, временные характеристики и устойчивость событий при генерации видео на этапе вывода, повышая управляемость без дообучения моделей.
ПОЧЕМУ ЭТО ВАЖНО
TSG даёт практичный, модель-независимый способ обеспечить порядок, временные характеристики и устойчивость событий при генерации видео на этапе вывода, повышая управляемость без дообучения моделей.