ИССЛЕДОВАНИЕ · RESEARCH · #725
Обнаружение галлюцинаций в LLM через топологию графов внимания (arXiv:2609.21096v1)
В препринте предлагается однопроходный метод для обнаружения галлюцинаций в LLM путём анализа топологии потоков информации в графах внимания с применением кривизны Формана-Риччи для поиска «узких мест». Авторы сообщают постоянные улучшения по сравнению с предыдущими подходами на двух бенчмарках по детекции галлюцинаций и показывают связь галлюцинаций с нарушенным обменом контекстом (например, чрезмерная опора на self-attention, размытый доступ к ранним токенам или «пересжатие» информации), особенно в последнем слое трансформера, на нескольких архитектурах LLM.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В препринте предлагается однопроходный метод для обнаружения галлюцинаций в LLM путём анализа топологии потоков информации в графах внимания с применением кривизны Формана-Риччи для поиска «узких мест».
- Авторы сообщают постоянные улучшения по сравнению с предыдущими подходами на двух бенчмарках по детекции галлюцинаций и показывают связь галлюцинаций с нарушенным обменом контекстом (например, чрезмерная опора на self-attention, размытый доступ к ранним токенам или «пересжатие» информации), особенно в последнем слое трансформера, на нескольких архитектурах LLM.
- Если метод устойчив, эта топологическая однопроходная метрика может стать легковесным, модель-независимым индикатором риска галлюцинаций и помочь в отладке или смягчении проблем в развернутых LLM.
ПОЧЕМУ ЭТО ВАЖНО
Если метод устойчив, эта топологическая однопроходная метрика может стать легковесным, модель-независимым индикатором риска галлюцинаций и помочь в отладке или смягчении проблем в развернутых LLM.