НОВОСТЬ · RESEARCH · #234
От предпочтений к принципам: рамочное вознаграждение для ответов с обоснованием
В работе предложена система вознаграждений на основе рубрик: для каждого запроса формируются рубрики, увязанные с извлечёнными источниками и разбитые по качественным измерениям, что даёт детальную супервизию при пост‑обучении для вопросов в открытой доменной задаче. В среднем по трём осям оценки (композиция, обоснованность и следование инструкциям) подход показывает улучшения по сравнению с единым скалярным критерием.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе предложена система вознаграждений на основе рубрик: для каждого запроса формируются рубрики, увязанные с извлечёнными источниками и разбитые по качественным измерениям, что даёт детальную супервизию при пост‑обучении для вопросов в открытой доменной задаче.
- В среднем по трём осям оценки (композиция, обоснованность и следование инструкциям) подход показывает улучшения по сравнению с единым скалярным критерием.
- Подход на основе рубрик важен тем, что даёт более детальную и основанную на доказательствах супервизию, способную учесть разные аспекты качества ответа лучше, чем единый скалярный критерий, улучшая согласованность ответов.
ПОЧЕМУ ЭТО ВАЖНО
Подход на основе рубрик важен тем, что даёт более детальную и основанную на доказательствах супервизию, способную учесть разные аспекты качества ответа лучше, чем единый скалярный критерий, улучшая согласованность ответов.