Recursive Reward Improvement (RRI): противодействие «взлому» рубрик для самоулучшения моделей
Статья предлагает Recursive Reward Improvement (RRI) — схему proposer–solver, где адверсар генерирует ответы, эксплуатирующие автоматически сгенерированные рубрики, затем сравнивают их с честными ответами без доступа к рубрике и итеративно правят рубрику, чтобы честные ответы побеждали. На HealthBench Professional RRI повысил скор по сравнению с Generation Only на 10.9 пункта при 9B и на 12.4 при 27B (и на 10.3 без внешней модели), наибольший выигрыш на сложных и творческих задачах, с переносом улучшений на PRBench Hard и ProfBench.