Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИССЛЕДОВАНИЕ · RESEARCH · #3502

Теоретические пределы согласования языковых моделей

В работе получены информационно-теоретические пределы улучшения награды при фиксированном бюджете KL-дивергенции для KL-регуляризованного согласования: закрытая форма, управляемая дивергентностью Джеффриса, и представление в виде ковариации по базовой модели, дающее практический оценщик. Показано, что разрыв при использовании прокси-наград (reward hacking) растёт с ошибкой в награде и при уменьшении KL-пени, доказано, что объединение наград (reward ensembling) уменьшает reward hacking, и эмпирически best-of-N почти достигает теоретического фронтира KL–награда, тогда как PPO и GRPO остаются существенно неоптимальными на задачах безопасности и суммирования.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. В работе получены информационно-теоретические пределы улучшения награды при фиксированном бюджете KL-дивергенции для KL-регуляризованного согласования: закрытая форма, управляемая дивергентностью Джеффриса, и представление в виде ковариации по базовой модели, дающее практический оценщик.
  2. Показано, что разрыв при использовании прокси-наград (reward hacking) растёт с ошибкой в награде и при уменьшении KL-пени, доказано, что объединение наград (reward ensembling) уменьшает reward hacking, и эмпирически best-of-N почти достигает теоретического фронтира KL–награда, тогда как PPO и GRPO остаются существенно неоптимальными на задачах безопасности и суммирования.
  3. Предоставляет теоретическую оценку и практический оценщик того, насколько RLHF-подобное KL-регуляризованное согласование может повысить награду, объясняя эмпирические наблюдения и задавая приоритеты в разработке алгоритмов для снижения неоптимальности и reward hacking.

ПОЧЕМУ ЭТО ВАЖНО

Предоставляет теоретическую оценку и практический оценщик того, насколько RLHF-подобное KL-регуляризованное согласование может повысить награду, объясняя эмпирические наблюдения и задавая приоритеты в разработке алгоритмов для снижения неоптимальности и reward hacking.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1