ИССЛЕДОВАНИЕ · RESEARCH · #1410
Build2SPARQL: крупномасштабный набор данных для преобразования текста в SPARQL для графов зданий
В работе представлен Build2SPARQL — эталонный набор, созданный KG-обоснованным конвейером, который автоматически генерирует 6 136 исполняемых SPARQL-запросов и 30 680 вопросов на естественном языке для 201 графа зданий (180 Brick, 21 ASHRAE 223P). Запросы формируются и проверяются кодом обхода графа, а LLM используются только для перефразирования на естественном языке; валидация 300 вопросов людьми показала 98,8% семантической соответствия и естественности и 84,0% операционной правдоподобности, а retrieval-augmented оценка повысила точность точного совпадения у трёх открытых моделей с 0,2–20% (zero-shot) до 56–65% (three-shot с retrieval).
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе представлен Build2SPARQL — эталонный набор, созданный KG-обоснованным конвейером, который автоматически генерирует 6 136 исполняемых SPARQL-запросов и 30 680 вопросов на естественном языке для 201 графа зданий (180 Brick, 21 ASHRAE 223P).
- Запросы формируются и проверяются кодом обхода графа, а LLM используются только для перефразирования на естественном языке; валидация 300 вопросов людьми показала 98,8% семантической соответствия и естественности и 84,0% операционной правдоподобности, а retrieval-augmented оценка повысила точность точного совпадения у трёх открытых моделей с 0,2–20% (zero-shot) до 56–65% (three-shot с retrieval).
- Предоставляет крупный KG-обоснованный эталон, который отделяет корректность запросов от поведения моделей и существенно упрощает разработку и оценку систем text-to-SPARQL для графов знаний в домене зданий.
ПОЧЕМУ ЭТО ВАЖНО
Предоставляет крупный KG-обоснованный эталон, который отделяет корректность запросов от поведения моделей и существенно упрощает разработку и оценку систем text-to-SPARQL для графов знаний в домене зданий.