Команда MIT–IBM о бенчмарках и методе подстановки псевдонимов для мультимодальных моделей
Исследователи из MIT-IBM Computing Research Lab под руководством Джима Гласса (MIT CSAIL) описывают многолетнюю работу по выявлению и устранению ошибок современных мультимодальных базовых моделей через выпуск публичных бенчмарков и разработку методов, требующих мало размеченных данных. В работе IPLoc применён приём «подстановки псевдонимов», который заставляет модель опираться на визуальные/аудиальные признаки вместо ранее выученных ярлыков, и отмечаются пробелы, например сложности с локализацией объектов в моделях вроде GPT-40.