Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИССЛЕДОВАНИЕ · RESEARCH · #4014

Команда MIT–IBM о бенчмарках и методе подстановки псевдонимов для мультимодальных моделей

Исследователи из MIT-IBM Computing Research Lab под руководством Джима Гласса (MIT CSAIL) описывают многолетнюю работу по выявлению и устранению ошибок современных мультимодальных базовых моделей через выпуск публичных бенчмарков и разработку методов, требующих мало размеченных данных. В работе IPLoc применён приём «подстановки псевдонимов», который заставляет модель опираться на визуальные/аудиальные признаки вместо ранее выученных ярлыков, и отмечаются пробелы, например сложности с локализацией объектов в моделях вроде GPT-40.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Исследователи из MIT-IBM Computing Research Lab под руководством Джима Гласса (MIT CSAIL) описывают многолетнюю работу по выявлению и устранению ошибок современных мультимодальных базовых моделей через выпуск публичных бенчмарков и разработку методов, требующих мало размеченных данных.
  2. В работе IPLoc применён приём «подстановки псевдонимов», который заставляет модель опираться на визуальные/аудиальные признаки вместо ранее выученных ярлыков, и отмечаются пробелы, например сложности с локализацией объектов в моделях вроде GPT-40.
  3. Публичные бенчмарки и методы с низкой потребностью в разметке, такие как подстановка псевдонимов, нацелены на реальные проблемы мультимодального понимания и позволяют улучшать модели без массовой разметки.

ПОЧЕМУ ЭТО ВАЖНО

Публичные бенчмарки и методы с низкой потребностью в разметке, такие как подстановка псевдонимов, нацелены на реальные проблемы мультимодального понимания и позволяют улучшать модели без массовой разметки.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1