Предсказание конфликта целей и покрытие компромиссов для управляемого плюралистического выравнивания (arXiv:2609.26929v1)
В работе исследуют управляемое плюралистическое выравнивание с помощью Multi-Objective Direct Preference Optimization (MODPO). На семи парах целей из наборов HelpSteer и UltraFeedback авторы изучают, когда одна модель может одновременно улучшить две цели и как покрыть множество компромиссов без тренировки отдельной модели для каждого; они показывают, что два предобученных измерения предсказывают согласие или конфликт целей для данных с аннотациями людей (но не для данных с аннотациями ИИ, где длина и повторяемость ответов искажают оценки reward-моделей), а также что выбор ближайшей обученной модели и слияние параметров помогают расширить покрытие компромиссов, хотя ни один из методов не стабильно не превосходит прямую тренировку.