ИССЛЕДОВАНИЕ · RESEARCH · #839
MAWILE: рабочая платформа для аудита оценщиков LLM (arXiv v1)
Megagon Labs представила MAWILE — платформу для разработчиков (arXiv:2609.22599v1), которая проверяет чувствительность оценщиков LLM по четырём поверхностям — подсказка оценщика, рубрика, вход системы и выход системы — путём создания управляемых возмущений и повторного запуска оценщика. MAWILE поддерживает бинарные, порядковые и попарные оценщики без необходимости в эталонных метках; код выложен на GitHub.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Megagon Labs представила MAWILE — платформу для разработчиков (arXiv:2609.22599v1), которая проверяет чувствительность оценщиков LLM по четырём поверхностям — подсказка оценщика, рубрика, вход системы и выход системы — путём создания управляемых возмущений и повторного запуска оценщика.
- MAWILE поддерживает бинарные, порядковые и попарные оценщики без необходимости в эталонных метках; код выложен на GitHub.
- MAWILE помогает разработчикам обнаруживать и локализовать уязвимости и смещения в автоматических оценщиках LLM, повышая надёжность оценки моделей без эталонных меток.
ПОЧЕМУ ЭТО ВАЖНО
MAWILE помогает разработчикам обнаруживать и локализовать уязвимости и смещения в автоматических оценщиках LLM, повышая надёжность оценки моделей без эталонных меток.