Обнаружение код-свичинга по звуку через языково-селективные измерения в Whisper-small
Авторы выделяют языково-селективные скрытые измерения в предобученных энкодерах речи и агрегируют их покадровые активации для прямого обнаружения код-свичинга по аудио. При небольшом наборе для настройки энкодер Whisper-small показал среднее F1 = 0,798 по 14 парам языков на CS-FLEURS, опередив CNN (0,776) и линейный базовый HuBERT (0,751).