ИССЛЕДОВАНИЕ · RESEARCH · #2881
Социодемографические сигналы умеренно улучшают моделирование плюралистической оскорбительности, особенно после агрегации и при явном рассуждении
В статье (arXiv:2610.37896v1) исследуется, когда и как информация о социодемографии аннотаторов помогает при моделировании плюралистической оскорбительности на трёх наборах данных с несколькими аннотаторами и с LLM. Авторы показывают, что прирост от демографии мал и непоследователен на уровне отдельных предсказаний, но становится заметным на уровне групп/популяции после агрегации; явное разложение предсказания на базовую оценку и демографическое отклонение и использование рассуждения дают лучшие оценки и итоговые предсказания по сравнению с простым кондиционированием.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье (arXiv:2610.37896v1) исследуется, когда и как информация о социодемографии аннотаторов помогает при моделировании плюралистической оскорбительности на трёх наборах данных с несколькими аннотаторами и с LLM.
- Авторы показывают, что прирост от демографии мал и непоследователен на уровне отдельных предсказаний, но становится заметным на уровне групп/популяции после агрегации; явное разложение предсказания на базовую оценку и демографическое отклонение и использование рассуждения дают лучшие оценки и итоговые предсказания по сравнению с простым кондиционированием.
- Работа объясняет противоречивые результаты предыдущих исследований и показывает, что социодемографические сигналы полезны для справедливого моделирования оскорбительности при оценке на уровне групп и при использовании явного рассуждения, что важно для проектирования аннотаций и моделей.
ПОЧЕМУ ЭТО ВАЖНО
Работа объясняет противоречивые результаты предыдущих исследований и показывает, что социодемографические сигналы полезны для справедливого моделирования оскорбительности при оценке на уровне групп и при использовании явного рассуждения, что важно для проектирования аннотаций и моделей.