ИССЛЕДОВАНИЕ · RESEARCH · #1777
TGIT: переводчик, основанный на траекториях, улучшает работу замороженного навигатора OpenFly при коротких инструкциях
В препринте (arXiv:2610.10635v1) показано, что короткие, ориентированные на намерение инструкции снижают успех навигатора OpenFly с 31.03% до 11.33%. Авторы сначала с помощью промптов к языковой модели генерируют парные «Weak» команды (SR 15.27%), затем предлагают Trajectory-Grounded Instruction Translator (TGIT) — фронтенд, обучающийся по последствиям траекторий навигатора, который повышает SR для Weak-входов до 37.93%, переносится нулевым выстрелом на реальные человеческие инструкции (11.33% -> 32.51%), улучшает показатели на отложенном OpenFly (4.95% -> 20.79%) и восстанавливает производительность на CityNav и AirVLN.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В препринте (arXiv:2610.10635v1) показано, что короткие, ориентированные на намерение инструкции снижают успех навигатора OpenFly с 31.03% до 11.33%.
- Авторы сначала с помощью промптов к языковой модели генерируют парные «Weak» команды (SR 15.27%), затем предлагают Trajectory-Grounded Instruction Translator (TGIT) — фронтенд, обучающийся по последствиям траекторий навигатора, который повышает SR для Weak-входов до 37.93%, переносится нулевым выстрелом на реальные человеческие инструкции (11.33% -> 32.51%), улучшает показатели на отложенном OpenFly (4.95% -> 20.79%) и восстанавливает производительность на CityNav и AirVLN.
- TGIT даёт практичный фронтенд, позволяющий существующим «замороженным» воздушным VLN-навигациям понимать короткие человеческие инструкции и значительно восстанавливать успех навигации без дообучения самого навигатора.
ПОЧЕМУ ЭТО ВАЖНО
TGIT даёт практичный фронтенд, позволяющий существующим «замороженным» воздушным VLN-навигациям понимать короткие человеческие инструкции и значительно восстанавливать успех навигации без дообучения самого навигатора.