Cappy: 360M-параметровый скорер на базе RoBERTa, который, по авторам, улучшает и адаптирует большие мультизадачные LLM без дообучения
Исследователи Google представляют Cappy — лёгкий (≈360M параметров) скорер на базе RoBERTa, обученный посредством непрерывного предобучения, который выдаёт оценку корректности (0–1) для пары инструкция–ответ. Авторы утверждают, что Cappy может работать самостоятельно для задач классификации или служить вспомогательным модулем для улучшения больших мультизадачных LLM и позволять адаптацию и учёт супервизии без обратного распространения ошибки и без доступа к параметрам модели (например, закрытые WebAPI).