ИССЛЕДОВАНИЕ · RESEARCH · #2888
Что улавливает онтология? arXiv:2610.37809v1 — сравнение кураторских, сгенерированных LLM и извлечённых из данных онтологий как проверок для LLM‑агентов
В работе изучают онтологии как средство проверки ответов LLM‑агентов по графам знаний, сравнивая кураторские, сгенерированные LLM и извлечённые из данных схемы, применяемые в подсказке, в роли проверяющего или в обоих ролях. На публичных графах, UniProt и приватном графе (~10^9 тройок) при использовании открытых и проприетарных агентов авторы оценивают компромисс между пойманными ошибками и ложными срабатываниями, показывают, что кураторская схема может противоречить данным и часто помечает правильные ответы, и изучают эффекты комбинирования источников и целевой обратной связи агенту.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе изучают онтологии как средство проверки ответов LLM‑агентов по графам знаний, сравнивая кураторские, сгенерированные LLM и извлечённые из данных схемы, применяемые в подсказке, в роли проверяющего или в обоих ролях.
- На публичных графах, UniProt и приватном графе (~10^9 тройок) при использовании открытых и проприетарных агентов авторы оценивают компромисс между пойманными ошибками и ложными срабатываниями, показывают, что кураторская схема может противоречить данным и часто помечает правильные ответы, и изучают эффекты комбинирования источников и целевой обратной связи агенту.
- Это важно, потому что многие системы полагаются на онтологии для оценки ответов LLM над графами знаний; статья количественно показывает, как разные источники онтологий меняют баланс между пропущенными ошибками и ложными срабатываниями и ставит под сомнение надёжность кураторских схем как автоматических проверок.
ПОЧЕМУ ЭТО ВАЖНО
Это важно, потому что многие системы полагаются на онтологии для оценки ответов LLM над графами знаний; статья количественно показывает, как разные источники онтологий меняют баланс между пропущенными ошибками и ложными срабатываниями и ставит под сомнение надёжность кураторских схем как автоматических проверок.