ИССЛЕДОВАНИЕ · RESEARCH · #1840
Бенчмарк MathVis (arXiv:2610.12954v1) оценивает генерацию математических диаграмм LLM
MathVis — новый бенчмарк (arXiv:2610.12954v1) из 512 задач, проверяющий способность больших языковых моделей визуализировать математические задачи и генерировать исполняемые TikZ/SVG-диаграммы; набор включает эталонные диаграммы, Gold IR, атомарные рубрики и коды ошибок. В начальной оценке GPT-6-Astra, Claude Fable 5 и Gemini 3.1 Pro Preview показали pass@1 31.25%, 26.56% и 22.85% соответственно; авторы отмечают, что выводы моделей чаще содержат формальные языки и программы и выглядят визуально запутанными вместо явного использования диаграмм для рассуждения.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- MathVis — новый бенчмарк (arXiv:2610.12954v1) из 512 задач, проверяющий способность больших языковых моделей визуализировать математические задачи и генерировать исполняемые TikZ/SVG-диаграммы; набор включает эталонные диаграммы, Gold IR, атомарные рубрики и коды ошибок.
- В начальной оценке GPT-6-Astra, Claude Fable 5 и Gemini 3.1 Pro Preview показали pass@1 31.25%, 26.56% и 22.85% соответственно; авторы отмечают, что выводы моделей чаще содержат формальные языки и программы и выглядят визуально запутанными вместо явного использования диаграмм для рассуждения.
- MathVis даёт конкретный набор задач и критерии оценки для измерения и улучшения способности LLM использовать диаграммы в математическом рассуждении и показывает текущие недостатки в этой области.
ПОЧЕМУ ЭТО ВАЖНО
MathVis даёт конкретный набор задач и критерии оценки для измерения и улучшения способности LLM использовать диаграммы в математическом рассуждении и показывает текущие недостатки в этой области.