ИССЛЕДОВАНИЕ · RESEARCH · #942
Предсказание конфликта целей и покрытие компромиссов для управляемого плюралистического выравнивания (arXiv:2609.26929v1)
В работе исследуют управляемое плюралистическое выравнивание с помощью Multi-Objective Direct Preference Optimization (MODPO). На семи парах целей из наборов HelpSteer и UltraFeedback авторы изучают, когда одна модель может одновременно улучшить две цели и как покрыть множество компромиссов без тренировки отдельной модели для каждого; они показывают, что два предобученных измерения предсказывают согласие или конфликт целей для данных с аннотациями людей (но не для данных с аннотациями ИИ, где длина и повторяемость ответов искажают оценки reward-моделей), а также что выбор ближайшей обученной модели и слияние параметров помогают расширить покрытие компромиссов, хотя ни один из методов не стабильно не превосходит прямую тренировку.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе исследуют управляемое плюралистическое выравнивание с помощью Multi-Objective Direct Preference Optimization (MODPO).
- На семи парах целей из наборов HelpSteer и UltraFeedback авторы изучают, когда одна модель может одновременно улучшить две цели и как покрыть множество компромиссов без тренировки отдельной модели для каждого; они показывают, что два предобученных измерения предсказывают согласие или конфликт целей для данных с аннотациями людей (но не для данных с аннотациями ИИ, где длина и повторяемость ответов искажают оценки reward-моделей), а также что выбор ближайшей обученной модели и слияние параметров помогают расширить покрытие компромиссов, хотя ни один из методов не стабильно не превосходит прямую тренировку.
- Работа даёт практические диагностические методы и подходы для создания управляемых моделей, балансирующих конфликтующие человеческие предпочтения, и показывает ограничения сигналов reward‑моделей и методов переноса при покрытии множества компромиссов.
ПОЧЕМУ ЭТО ВАЖНО
Работа даёт практические диагностические методы и подходы для создания управляемых моделей, балансирующих конфликтующие человеческие предпочтения, и показывает ограничения сигналов reward‑моделей и методов переноса при покрытии множества компромиссов.