ИССЛЕДОВАНИЕ · RESEARCH · #705
PolyBridgeBench: бенчмарк для MLLM по проектированию мостов с учётом физики
PolyBridgeBench — исполняемый бенчмарк, в котором мультимодальным LLM требуется сгенерировать полную топологию моста (узлы, элементы, материалы) по визуальной сцене и инженерным ограничениям, после чего выполняются детерминированные проверки и динамическая физическая симуляция. Метрики включают детерминированную корректность, динамическую функциональность и восстановление после отказа; тесты шести MLLM на 189 уровнях показывают большой разрыв между формальной корректностью и реальной работоспособностью, высокую чувствительность к бюджетам материалов и ограниченное восстановление после неудач.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- PolyBridgeBench — исполняемый бенчмарк, в котором мультимодальным LLM требуется сгенерировать полную топологию моста (узлы, элементы, материалы) по визуальной сцене и инженерным ограничениям, после чего выполняются детерминированные проверки и динамическая физическая симуляция.
- Метрики включают детерминированную корректность, динамическую функциональность и восстановление после отказа; тесты шести MLLM на 189 уровнях показывают большой разрыв между формальной корректностью и реальной работоспособностью, высокую чувствительность к бюджетам материалов и ограниченное восстановление после неудач.
- Бенчмарк проверяет, могут ли MLLM выдавать исполнимые нагружаемые инженерные конструкции и исправлять их после неудач в симуляторе, выявляя разрыв между формальной корректностью и реальной работоспособностью.
ПОЧЕМУ ЭТО ВАЖНО
Бенчмарк проверяет, могут ли MLLM выдавать исполнимые нагружаемые инженерные конструкции и исправлять их после неудач в симуляторе, выявляя разрыв между формальной корректностью и реальной работоспособностью.