НОВОСТЬ · RESEARCH · #324
Социальное обучение: метод Google Research для обучения LLM друг у друга с помощью естественного языка
Исследователи Google предлагают рамочную модель «социального обучения», в которой модели‑учителя передают знания модели‑студенту через текстовые инструкции и синтезированные примеры вместо обмена исходными данными. На основе PaLM 2‑S для задач (детектирование спама, школьная математика, вопросы по тексту) они отмечают, что сгенерированные примеры (например, 8–16 штук) часто сохраняют приватность и обеспечивают сопоставимую производительность для большинства задач, хотя детектирование спама оказалось исключением; также предложены количественные методы измерения приватности.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Исследователи Google предлагают рамочную модель «социального обучения», в которой модели‑учителя передают знания модели‑студенту через текстовые инструкции и синтезированные примеры вместо обмена исходными данными.
- На основе PaLM 2‑S для задач (детектирование спама, школьная математика, вопросы по тексту) они отмечают, что сгенерированные примеры (например, 8–16 штук) часто сохраняют приватность и обеспечивают сопоставимую производительность для большинства задач, хотя детектирование спама оказалось исключением; также предложены количественные методы измерения приватности.
- Если LLM смогут обучать друг друга через естественный язык и синтезированные примеры, это даст возможность совместного улучшения моделей при меньшей необходимости обмена конфиденциальными исходными данными.
ПОЧЕМУ ЭТО ВАЖНО
Если LLM смогут обучать друг друга через естественный язык и синтезированные примеры, это даст возможность совместного улучшения моделей при меньшей необходимости обмена конфиденциальными исходными данными.