НОВОСТЬ · MODELS · #310
Google описывает приватное обучение on-device языковых моделей Gboard с помощью федеративного обучения и дифференциальной приватности
Исследователи Google сообщают, что все нейронные модели предсказания следующего слова в Gboard обучаются через федеративное обучение с формальными гарантиями дифференциальной приватности; в продакшене более 30 on-device моделей в 7+ языках и 15+ странах. Развернутые модели удовлетворяют (ε,δ)-DP с δ=10^-10 и ε в диапазоне 0.994–13.69; в публикации описаны применяемые методы (DP-FTRL, SecAgg, адаптивное отсечение, предобучение на C4) и указано, что это, по их сведениям, крупнейшее известное промышленное внедрение DP на уровне пользователя и первый случай объявления ε<1 для моделей, обученных на данных пользователей.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Исследователи Google сообщают, что все нейронные модели предсказания следующего слова в Gboard обучаются через федеративное обучение с формальными гарантиями дифференциальной приватности; в продакшене более 30 on-device моделей в 7+ языках и 15+ странах.
- Развернутые модели удовлетворяют (ε,δ)-DP с δ=10^-10 и ε в диапазоне 0.994–13.69; в публикации описаны применяемые методы (DP-FTRL, SecAgg, адаптивное отсечение, предобучение на C4) и указано, что это, по их сведениям, крупнейшее известное промышленное внедрение DP на уровне пользователя и первый случай объявления ε<1 для моделей, обученных на данных пользователей.
- Это важно, поскольку демонстрирует промышленное развертывание федеративного обучения с формальной дифференциальной приватностью на уровне пользователя (включая ε<1) для on-device языковых моделей, что повышает практические меры защиты данных пользователей.
ПОЧЕМУ ЭТО ВАЖНО
Это важно, поскольку демонстрирует промышленное развертывание федеративного обучения с формальной дифференциальной приватностью на уровне пользователя (включая ε<1) для on-device языковых моделей, что повышает практические меры защиты данных пользователей.