Понимают ли LLM контекст? Оценочная рамка на основе графов знаний (S3KG)
Новая статья на arXiv (arXiv:2609.30484v1) предлагает оценочную рамку на основе графов знаний для проверки контекстного понимания LLM в задачах вопрос-ответ, в основе которой — S3KG (Semantic Structural Similarity for KGs), гибридная метрика, объединяющая структурные и семантические сигналы. Работа также вводит диагностический анализ на уровне триплетов для категоризации ошибок рассуждения; по девяти бенчмаркам S3KG показывает до +7,6 пункта по F1 относительно сильнейшего базового метода и AUROC до 0,973.