ИССЛЕДОВАНИЕ · RESEARCH · #1440
Дискретизация языков при предобучении HuBERT сокращает двуязычный разрыв
Авторы показывают, что усиление различения языков в контролируемом англо‑французском предобучении HuBERT — через вспомогательный классификатор языка или к‑means-таргеты на язык — сокращает мультилингвальный разрыв по фонетическим, лексическим и просодическим метрикам, сохраняя перекрестный обмен информацией. Основные результаты: phone-ABX снизился с 11.6% до 10.4% (моноязычный: 10.8%), sWUGGY вырос с 52.1% до 56.7% (моноязычный: 58.5%), ProsAudit (лексика) — с 68.9% до 72.9%; наибольший эффект наблюдается при введении различения на первой итерации HuBERT.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Авторы показывают, что усиление различения языков в контролируемом англо‑французском предобучении HuBERT — через вспомогательный классификатор языка или к‑means-таргеты на язык — сокращает мультилингвальный разрыв по фонетическим, лексическим и просодическим метрикам, сохраняя перекрестный обмен информацией.
- Основные результаты: phone-ABX снизился с 11.6% до 10.4% (моноязычный: 10.8%), sWUGGY вырос с 52.1% до 56.7% (моноязычный: 58.5%), ProsAudit (лексика) — с 68.9% до 72.9%; наибольший эффект наблюдается при введении различения на первой итерации HuBERT.
- Это демонстрирует практическое вмешательство, которое сокращает разрыв в производительности между мультилингвальными и моноязычными SSL-моделями речи и помогает выбирать эффективные настройки предобучения.
ПОЧЕМУ ЭТО ВАЖНО
Это демонстрирует практическое вмешательство, которое сокращает разрыв в производительности между мультилингвальными и моноязычными SSL-моделями речи и помогает выбирать эффективные настройки предобучения.