НОВОСТЬ · RESEARCH · #331
Cappy: 360M-параметровый скорер на базе RoBERTa, который, по авторам, улучшает и адаптирует большие мультизадачные LLM без дообучения
Исследователи Google представляют Cappy — лёгкий (≈360M параметров) скорер на базе RoBERTa, обученный посредством непрерывного предобучения, который выдаёт оценку корректности (0–1) для пары инструкция–ответ. Авторы утверждают, что Cappy может работать самостоятельно для задач классификации или служить вспомогательным модулем для улучшения больших мультизадачных LLM и позволять адаптацию и учёт супервизии без обратного распространения ошибки и без доступа к параметрам модели (например, закрытые WebAPI).
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Исследователи Google представляют Cappy — лёгкий (≈360M параметров) скорер на базе RoBERTa, обученный посредством непрерывного предобучения, который выдаёт оценку корректности (0–1) для пары инструкция–ответ.
- Авторы утверждают, что Cappy может работать самостоятельно для задач классификации или служить вспомогательным модулем для улучшения больших мультизадачных LLM и позволять адаптацию и учёт супервизии без обратного распространения ошибки и без доступа к параметрам модели (например, закрытые WebAPI).
- Если результаты подтверждаются, небольшой внешний скорер, позволяющий обучать и адаптировать большие или закрытые мультизадачные LLM без дообучения, может снизить вычислительные и памятьные затраты и расширить практическое применение таких моделей.
ПОЧЕМУ ЭТО ВАЖНО
Если результаты подтверждаются, небольшой внешний скорер, позволяющий обучать и адаптировать большие или закрытые мультизадачные LLM без дообучения, может снизить вычислительные и памятьные затраты и расширить практическое применение таких моделей.