Google описывает приватное обучение on-device языковых моделей Gboard с помощью федеративного обучения и дифференциальной приватности
Исследователи Google сообщают, что все нейронные модели предсказания следующего слова в Gboard обучаются через федеративное обучение с формальными гарантиями дифференциальной приватности; в продакшене более 30 on-device моделей в 7+ языках и 15+ странах. Развернутые модели удовлетворяют (ε,δ)-DP с δ=10^-10 и ε в диапазоне 0.994–13.69; в публикации описаны применяемые методы (DP-FTRL, SecAgg, адаптивное отсечение, предобучение на C4) и указано, что это, по их сведениям, крупнейшее известное промышленное внедрение DP на уровне пользователя и первый случай объявления ε<1 для моделей, обученных на данных пользователей.