ИССЛЕДОВАНИЕ · RESEARCH · #1846
GeoSpatialBench: бенчмарк для геопространственного рассуждения и ограниченного пространственного редактирования (arXiv v1)
Статья (arXiv:2610.12881v1) представляет GeoSpatialBench — бенчмарк для оценки геопространственного мышления и ограниченного пространственного редактирования на реальных городских данных в форматах GeoJSON и картографических изображений, охватывающий 28 топологических, направленных, метрических и порядковых отношений. Оценка передовых мультимодальных LLM показывает преимущество GeoJSON над картинками, отсутствие стабильного выигрыша от комбинирования модальностей, худшую работу по метрическим отношениям и редактированию по сравнению с QA, многие неудачные правки нарушают заданные геометрические ограничения.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Статья (arXiv:2610.12881v1) представляет GeoSpatialBench — бенчмарк для оценки геопространственного мышления и ограниченного пространственного редактирования на реальных городских данных в форматах GeoJSON и картографических изображений, охватывающий 28 топологических, направленных, метрических и порядковых отношений.
- Оценка передовых мультимодальных LLM показывает преимущество GeoJSON над картинками, отсутствие стабильного выигрыша от комбинирования модальностей, худшую работу по метрическим отношениям и редактированию по сравнению с QA, многие неудачные правки нарушают заданные геометрические ограничения.
- GeoSpatialBench выявляет разрыв между пассивным распознаванием пространственных отношений и активным редактированием с геометрическими ограничениями, что важно для моделей, ориентированных на физический мир и для роботов.
ПОЧЕМУ ЭТО ВАЖНО
GeoSpatialBench выявляет разрыв между пассивным распознаванием пространственных отношений и активным редактированием с геометрическими ограничениями, что важно для моделей, ориентированных на физический мир и для роботов.