ИССЛЕДОВАНИЕ · RESEARCH · #2268
Выпущен бенчмарк FairStress для оценки демографической справедливости и устойчивости решений LLM
Представлен FairStress — бенчмарк из 300 сценариев в 29 областях (приём на работу, здравоохранение, кредиты, образование, жильё, уголовное правосудие и др.), который оценивает демографическую справедливость не только по итоговому выбору модели, но и по устойчивости решения к сопоставимым убедительным «адверсариальным префиксам». FairStress доступен для скачивания и будет интегрирован в Olmo-eval; предварительные результаты показывают асимметричные эффекты одинаковых аргументов у моделей (Olmo, Llama, Qwen, Gemma, Claude, семейство GPT) и различия в объяснениях и внутренних активациях на разных этапах обучения.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Представлен FairStress — бенчмарк из 300 сценариев в 29 областях (приём на работу, здравоохранение, кредиты, образование, жильё, уголовное правосудие и др.), который оценивает демографическую справедливость не только по итоговому выбору модели, но и по устойчивости решения к сопоставимым убедительным «адверсариальным префиксам».
- FairStress доступен для скачивания и будет интегрирован в Olmo-eval; предварительные результаты показывают асимметричные эффекты одинаковых аргументов у моделей (Olmo, Llama, Qwen, Gemma, Claude, семейство GPT) и различия в объяснениях и внутренних активациях на разных этапах обучения.
- FairStress выявляет скрытые асимметрии в том, как LLM меняют решения при воздействии аргументов, предоставляя более детальный инструмент для обнаружения несправедливого поведения, которое не видно по итоговому совпадению ответов.
ПОЧЕМУ ЭТО ВАЖНО
FairStress выявляет скрытые асимметрии в том, как LLM меняют решения при воздействии аргументов, предоставляя более детальный инструмент для обнаружения несправедливого поведения, которое не видно по итоговому совпадению ответов.