Обнаружение галлюцинаций в LLM через топологию графов внимания (arXiv:2609.21096v1)
В препринте предлагается однопроходный метод для обнаружения галлюцинаций в LLM путём анализа топологии потоков информации в графах внимания с применением кривизны Формана-Риччи для поиска «узких мест». Авторы сообщают постоянные улучшения по сравнению с предыдущими подходами на двух бенчмарках по детекции галлюцинаций и показывают связь галлюцинаций с нарушенным обменом контекстом (например, чрезмерная опора на self-attention, размытый доступ к ранним токенам или «пересжатие» информации), особенно в последнем слое трансформера, на нескольких архитектурах LLM.