ИССЛЕДОВАНИЕ · RESEARCH · #1977
Обнаружение код-свичинга по звуку через языково-селективные измерения в Whisper-small
Авторы выделяют языково-селективные скрытые измерения в предобученных энкодерах речи и агрегируют их покадровые активации для прямого обнаружения код-свичинга по аудио. При небольшом наборе для настройки энкодер Whisper-small показал среднее F1 = 0,798 по 14 парам языков на CS-FLEURS, опередив CNN (0,776) и линейный базовый HuBERT (0,751).
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Авторы выделяют языково-селективные скрытые измерения в предобученных энкодерах речи и агрегируют их покадровые активации для прямого обнаружения код-свичинга по аудио.
- При небольшом наборе для настройки энкодер Whisper-small показал среднее F1 = 0,798 по 14 парам языков на CS-FLEURS, опередив CNN (0,776) и линейный базовый HuBERT (0,751).
- Обнаружение код-свичинга по аудио с помощью предобученных энкодеров — это лёгкий способ находить фрагменты речи для более репрезентативной многоязычной предобучающей выборки без точной многозычной транскрипции.
ПОЧЕМУ ЭТО ВАЖНО
Обнаружение код-свичинга по аудио с помощью предобученных энкодеров — это лёгкий способ находить фрагменты речи для более репрезентативной многоязычной предобучающей выборки без точной многозычной транскрипции.