ИССЛЕДОВАНИЕ · RESEARCH · #2329
MAMath-Bench: процессно-ориентированный мультимодальный бенчмарк для многопользовательского математического рассуждения (arXiv:2610.26943v1)
MAMath-Bench — процессно-ориентированный бенчмарк для оценки мультимодального математического рассуждения в многопользовательских системах, опубликованный Mira AI Lab (статья arXiv:2610.26943v1). Включает 1 003 задачи по 11 категориям и нескольким модальностям (текст, изображения, аудио) с детальными метками промежуточных шагов для оценки правильности, надёжности процесса рассуждения и устойчивости к враждебным искажениям; тестирование показало, что сотрудничество агентов не всегда повышает точность конечных ответов, увеличивает покрытие промежуточных шагов, но может ввести избыточность и остаётся уязвимым к тонким структурным атакам. Набор доступен в репозитории AgentMath на GitHub.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- MAMath-Bench — процессно-ориентированный бенчмарк для оценки мультимодального математического рассуждения в многопользовательских системах, опубликованный Mira AI Lab (статья arXiv:2610.26943v1).
- Включает 1 003 задачи по 11 категориям и нескольким модальностям (текст, изображения, аудио) с детальными метками промежуточных шагов для оценки правильности, надёжности процесса рассуждения и устойчивости к враждебным искажениям; тестирование показало, что сотрудничество агентов не всегда повышает точность конечных ответов, увеличивает покрытие промежуточных шагов, но может ввести избыточность и остаётся уязвимым к тонким структурным атакам.
- Набор доступен в репозитории AgentMath на GitHub.
ПОЧЕМУ ЭТО ВАЖНО
MAMath-Bench закрывает важный пробел в оценке, измеряя не только точность конечных ответов, но и надёжность и устойчивость к атакам мультимодальных многопользовательских рассуждений, что важно для создания верифицируемых образовательных приложений на базе LLM.