ИССЛЕДОВАНИЕ · RESEARCH · #4014
Команда MIT–IBM о бенчмарках и методе подстановки псевдонимов для мультимодальных моделей
Исследователи из MIT-IBM Computing Research Lab под руководством Джима Гласса (MIT CSAIL) описывают многолетнюю работу по выявлению и устранению ошибок современных мультимодальных базовых моделей через выпуск публичных бенчмарков и разработку методов, требующих мало размеченных данных. В работе IPLoc применён приём «подстановки псевдонимов», который заставляет модель опираться на визуальные/аудиальные признаки вместо ранее выученных ярлыков, и отмечаются пробелы, например сложности с локализацией объектов в моделях вроде GPT-40.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Исследователи из MIT-IBM Computing Research Lab под руководством Джима Гласса (MIT CSAIL) описывают многолетнюю работу по выявлению и устранению ошибок современных мультимодальных базовых моделей через выпуск публичных бенчмарков и разработку методов, требующих мало размеченных данных.
- В работе IPLoc применён приём «подстановки псевдонимов», который заставляет модель опираться на визуальные/аудиальные признаки вместо ранее выученных ярлыков, и отмечаются пробелы, например сложности с локализацией объектов в моделях вроде GPT-40.
- Публичные бенчмарки и методы с низкой потребностью в разметке, такие как подстановка псевдонимов, нацелены на реальные проблемы мультимодального понимания и позволяют улучшать модели без массовой разметки.
ПОЧЕМУ ЭТО ВАЖНО
Публичные бенчмарки и методы с низкой потребностью в разметке, такие как подстановка псевдонимов, нацелены на реальные проблемы мультимодального понимания и позволяют улучшать модели без массовой разметки.