НОВОСТЬ · MODELS · #726
Адаптация DINOv3 ViT с помощью LoRA значительно улучшает распознавание целей в SAS; дальнейшие доработки не дают эффекта
В работе DINOv3 Vision Transformer адаптируют для подводного синтетического апертурного сонара (SAS) в задачах автоматического распознавания целей с помощью трёхступенчатой параметр-эффективной схемы: этап 1 — LoRA с замороженным бэконмом, этап 2 — hard-negative mining, этап 3 — Supervised Contrastive Learning (SupCon). На реальных морских данных с географическим разбиением миссий и сравнением при 85% recall (трёх повторов) LoRA (ранг 4) повысил AUPRC с 0.300 до 0.679 ± 0.027, обучая лишь 0.26% весов; этапы hard-negative и SupCon не дали заметного преимущества по сравнению с контрольными процедурами.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе DINOv3 Vision Transformer адаптируют для подводного синтетического апертурного сонара (SAS) в задачах автоматического распознавания целей с помощью трёхступенчатой параметр-эффективной схемы: этап 1 — LoRA с замороженным бэконмом, этап 2 — hard-negative mining, этап 3 — Supervised Contrastive Learning (SupCon).
- На реальных морских данных с географическим разбиением миссий и сравнением при 85% recall (трёх повторов) LoRA (ранг 4) повысил AUPRC с 0.300 до 0.679 ± 0.027, обучая лишь 0.26% весов; этапы hard-negative и SupCon не дали заметного преимущества по сравнению с контрольными процедурами.
- Демонстрирует, что одна параметр-эффективная адаптация LoRA способна существенно повысить качество предобученных ViT на дефицитных подводных акустических данных, тогда как многократные надстройки могут быть избыточны.
ПОЧЕМУ ЭТО ВАЖНО
Демонстрирует, что одна параметр-эффективная адаптация LoRA способна существенно повысить качество предобученных ViT на дефицитных подводных акустических данных, тогда как многократные надстройки могут быть избыточны.