Выпущен бенчмарк FairStress для оценки демографической справедливости и устойчивости решений LLM
Представлен FairStress — бенчмарк из 300 сценариев в 29 областях (приём на работу, здравоохранение, кредиты, образование, жильё, уголовное правосудие и др.), который оценивает демографическую справедливость не только по итоговому выбору модели, но и по устойчивости решения к сопоставимым убедительным «адверсариальным префиксам». FairStress доступен для скачивания и будет интегрирован в Olmo-eval; предварительные результаты показывают асимметричные эффекты одинаковых аргументов у моделей (Olmo, Llama, Qwen, Gemma, Claude, семейство GPT) и различия в объяснениях и внутренних активациях на разных этапах обучения.