ИССЛЕДОВАНИЕ · RESEARCH · #2627
GEMS-RAG: графо-основанная мультимодальная RAG для инженерных нормативов
GEMS-RAG — это фреймворк, который объединяет иерархический парсинг, детектирование визуальных сущностей, построение мультимодальной графовой базы знаний и графо-ориентированный гибридный поиск для обоснованного вывода по сложным мультимодальным инженерным нормативам. На примере Manual on Uniform Traffic Control Devices (MUTCD) GEMS-RAG показывает улучшение качества поиска релевантных данных и ответов на вопросы по сравнению с текстовыми, мультимодальными и графовыми RAG-базами.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- GEMS-RAG — это фреймворк, который объединяет иерархический парсинг, детектирование визуальных сущностей, построение мультимодальной графовой базы знаний и графо-ориентированный гибридный поиск для обоснованного вывода по сложным мультимодальным инженерным нормативам.
- На примере Manual on Uniform Traffic Control Devices (MUTCD) GEMS-RAG показывает улучшение качества поиска релевантных данных и ответов на вопросы по сравнению с текстовыми, мультимодальными и графовыми RAG-базами.
- Декомпозиция изображений на связанные визуальные сущности и графо-ориентированный поиск помогает LLM эффективно работать с иерархической, мультимодальной и взаимосвязанной структурой нормативов, что важно для доступа к критически важным техническим правилам.
ПОЧЕМУ ЭТО ВАЖНО
Декомпозиция изображений на связанные визуальные сущности и графо-ориентированный поиск помогает LLM эффективно работать с иерархической, мультимодальной и взаимосвязанной структурой нормативов, что важно для доступа к критически важным техническим правилам.
ИСТОЧНИКИ И ХРОНОЛОГИЯ
1arXiv:2610.33277v1 Announce Type: new Abstract: Engineering standards are challenging knowledge sources for large language models (LLMs) because they are hierarchical, multimodal, and densely connected through figures, tables, cross-references, and normative rules. Existing retrieval-augmented generation (RAG) methods often rely on unstructured text retrieval and struggle with questions requiring joint reasoning over…
arXiv:2610.36433v1 Announce Type: new Abstract: Construction safety management still struggles to produce daily safety bulletins (DSBs), structured daily communications that identify site-specific hazards, convey safety protocols, and set preventive measures for workers. Manual DSB creation takes 2-3 hours daily and yields inconsistent quality, with 25% of crews never conducting pretask planning (Olson et al., 2016),…
arXiv:2610.36335v1 Announce Type: new Abstract: Large language models (LLMs) perform well across many real-world tasks but remain prone to hallucination, limiting their reliability in domains such as biomedicine and healthcare, where answers must be grounded in established knowledge. Retrieval-augmented generation (RAG) mitigates this problem by incorporating external information, but often overlooks logical relation…