ИССЛЕДОВАНИЕ · RESEARCH · #3502
Теоретические пределы согласования языковых моделей
В работе получены информационно-теоретические пределы улучшения награды при фиксированном бюджете KL-дивергенции для KL-регуляризованного согласования: закрытая форма, управляемая дивергентностью Джеффриса, и представление в виде ковариации по базовой модели, дающее практический оценщик. Показано, что разрыв при использовании прокси-наград (reward hacking) растёт с ошибкой в награде и при уменьшении KL-пени, доказано, что объединение наград (reward ensembling) уменьшает reward hacking, и эмпирически best-of-N почти достигает теоретического фронтира KL–награда, тогда как PPO и GRPO остаются существенно неоптимальными на задачах безопасности и суммирования.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе получены информационно-теоретические пределы улучшения награды при фиксированном бюджете KL-дивергенции для KL-регуляризованного согласования: закрытая форма, управляемая дивергентностью Джеффриса, и представление в виде ковариации по базовой модели, дающее практический оценщик.
- Показано, что разрыв при использовании прокси-наград (reward hacking) растёт с ошибкой в награде и при уменьшении KL-пени, доказано, что объединение наград (reward ensembling) уменьшает reward hacking, и эмпирически best-of-N почти достигает теоретического фронтира KL–награда, тогда как PPO и GRPO остаются существенно неоптимальными на задачах безопасности и суммирования.
- Предоставляет теоретическую оценку и практический оценщик того, насколько RLHF-подобное KL-регуляризованное согласование может повысить награду, объясняя эмпирические наблюдения и задавая приоритеты в разработке алгоритмов для снижения неоптимальности и reward hacking.
ПОЧЕМУ ЭТО ВАЖНО
Предоставляет теоретическую оценку и практический оценщик того, насколько RLHF-подобное KL-регуляризованное согласование может повысить награду, объясняя эмпирические наблюдения и задавая приоритеты в разработке алгоритмов для снижения неоптимальности и reward hacking.