Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #33138

KL-regularized alignment

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

1

RESEARCH · 1 ИСТОЧН. · Apple Machine Learning Research

Теоретические пределы согласования языковых моделей

В работе получены информационно-теоретические пределы улучшения награды при фиксированном бюджете KL-дивергенции для KL-регуляризованного согласования: закрытая форма, управляемая дивергентностью Джеффриса, и представление в виде ковариации по базовой модели, дающее практический оценщик. Показано, что разрыв при использовании прокси-наград (reward hacking) растёт с ошибкой в награде и при уменьшении KL-пени, доказано, что объединение наград (reward ensembling) уменьшает reward hacking, и эмпирически best-of-N почти достигает теоретического фронтира KL–награда, тогда как PPO и GRPO остаются существенно неоптимальными на задачах безопасности и суммирования.

7.0