НОВОСТЬ · RESEARCH · #362
CADWorld: бенчмарк для длительных рабочих процессов механического CAD в FreeCAD
CADWorld — новый бенчмарк (arXiv:2609.16251v1) для длительных задач проектирования в FreeCAD, содержащий 200 заданий в 11 категориях рабочего процесса (эскизирование, моделирование деталей, сборки, CAM, FEM, измерения, обработка сетки, технические чертежи и др.). Агенты работают через скриншоты и GUI‑действия и оцениваются исполняемыми проверками сохранённых артефактов FreeCAD; среди семи протестированных агентов лучший показывает 17,5% успеха против 87,0% у эксперта, что указывает на существенный разрыв в надёжности выполнения инженерных рабочих процессов.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- CADWorld — новый бенчмарк (arXiv:2609.16251v1) для длительных задач проектирования в FreeCAD, содержащий 200 заданий в 11 категориях рабочего процесса (эскизирование, моделирование деталей, сборки, CAM, FEM, измерения, обработка сетки, технические чертежи и др.).
- Агенты работают через скриншоты и GUI‑действия и оцениваются исполняемыми проверками сохранённых артефактов FreeCAD; среди семи протестированных агентов лучший показывает 17,5% успеха против 87,0% у эксперта, что указывает на существенный разрыв в надёжности выполнения инженерных рабочих процессов.
- CADWorld важен тем, что проверяет способность агентов создавать устойчивые структурированные инженерные артефакты и выявляет значительный разрыв между общей компетентностью в GUI и надёжным выполнением полных CAD‑рабочих процессов.
ПОЧЕМУ ЭТО ВАЖНО
CADWorld важен тем, что проверяет способность агентов создавать устойчивые структурированные инженерные артефакты и выявляет значительный разрыв между общей компетентностью в GUI и надёжным выполнением полных CAD‑рабочих процессов.