ИССЛЕДОВАНИЕ · RESEARCH · #2082
Recursive Reward Improvement (RRI): противодействие «взлому» рубрик для самоулучшения моделей
Статья предлагает Recursive Reward Improvement (RRI) — схему proposer–solver, где адверсар генерирует ответы, эксплуатирующие автоматически сгенерированные рубрики, затем сравнивают их с честными ответами без доступа к рубрике и итеративно правят рубрику, чтобы честные ответы побеждали. На HealthBench Professional RRI повысил скор по сравнению с Generation Only на 10.9 пункта при 9B и на 12.4 при 27B (и на 10.3 без внешней модели), наибольший выигрыш на сложных и творческих задачах, с переносом улучшений на PRBench Hard и ProfBench.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Статья предлагает Recursive Reward Improvement (RRI) — схему proposer–solver, где адверсар генерирует ответы, эксплуатирующие автоматически сгенерированные рубрики, затем сравнивают их с честными ответами без доступа к рубрике и итеративно правят рубрику, чтобы честные ответы побеждали.
- На HealthBench Professional RRI повысил скор по сравнению с Generation Only на 10.9 пункта при 9B и на 12.4 при 27B (и на 10.3 без внешней модели), наибольший выигрыш на сложных и творческих задачах, с переносом улучшений на PRBench Hard и ProfBench.
- Важность в том, что предложен прагматичный адверсариальный метод для обнаружения и исправления «взлома» рубрик, что делает открытое самообучение моделей надёжнее и даёт заметные приросты на профильных бенчмарках.
ПОЧЕМУ ЭТО ВАЖНО
Важность в том, что предложен прагматичный адверсариальный метод для обнаружения и исправления «взлома» рубрик, что делает открытое самообучение моделей надёжнее и даёт заметные приросты на профильных бенчмарках.