Что улавливает онтология? arXiv:2610.37809v1 — сравнение кураторских, сгенерированных LLM и извлечённых из данных онтологий как проверок для LLM‑агентов
В работе изучают онтологии как средство проверки ответов LLM‑агентов по графам знаний, сравнивая кураторские, сгенерированные LLM и извлечённые из данных схемы, применяемые в подсказке, в роли проверяющего или в обоих ролях. На публичных графах, UniProt и приватном графе (~10^9 тройок) при использовании открытых и проприетарных агентов авторы оценивают компромисс между пойманными ошибками и ложными срабатываниями, показывают, что кураторская схема может противоречить данным и часто помечает правильные ответы, и изучают эффекты комбинирования источников и целевой обратной связи агенту.