ИССЛЕДОВАНИЕ · RESEARCH · #992
Полусуточное федеративное ASR: онлайн-псевдометки и стабилизация серверных обновлений
В работе исследуется полусуточное федеративное обучение для автоматического распознавания речи: ключевыми факторами являются выбор 'учителя' для генерации псевдометок (онлайн для каждого клиента или глобальный транслируемый) и серверный «якорь» — обучение на размеченных данных между раундами. С рекомендованной стратегией стабилизации (чередование серверного обучения и корректные настройки аугментации/размера батча) метод превосходит предыдущий лучший подход в 9 из 11 пар, сокращая разрыв до полностью размеченного FL на 20.8% в домене и на 10.0% при переносе.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе исследуется полусуточное федеративное обучение для автоматического распознавания речи: ключевыми факторами являются выбор 'учителя' для генерации псевдометок (онлайн для каждого клиента или глобальный транслируемый) и серверный «якорь» — обучение на размеченных данных между раундами.
- С рекомендованной стратегией стабилизации (чередование серверного обучения и корректные настройки аугментации/размера батча) метод превосходит предыдущий лучший подход в 9 из 11 пар, сокращая разрыв до полностью размеченного FL на 20.8% в домене и на 10.0% при переносе.
- Работа даёт практическую, эмпирически подтверждённую методику стабилизации полусуточного федеративного обучения для ASR, показывая, когда полезны онлайн-псевдометки и насколько критичны серверные обновления для предотвращения дрейфа.
ПОЧЕМУ ЭТО ВАЖНО
Работа даёт практическую, эмпирически подтверждённую методику стабилизации полусуточного федеративного обучения для ASR, показывая, когда полезны онлайн-псевдометки и насколько критичны серверные обновления для предотвращения дрейфа.