ИССЛЕДОВАНИЕ · RESEARCH · #2171
LEMON: эквивариантный монитор attention‑карт для нулевошот‑мониторинга ошибок LLM (arXiv:2610.22723v1)
В работе представлен LEMON (Language-model Equivariant MOnitoring Network) — онлайн‑графовая нейросеть, которая по токенам обрабатывает attention‑карты и формирует предсказания, инвариантные к алгебраическим симметриям между моделями, что позволяет нулевошот‑мониторинг LLM. На 16 моделях и шести наборах данных для обнаружения галлюцинаций и джейлбрейков LEMON опережает базовые методы в нулевошот‑настройке, улучшая показатели до 14 ROC‑AUC при пренебрежимых затратах времени.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе представлен LEMON (Language-model Equivariant MOnitoring Network) — онлайн‑графовая нейросеть, которая по токенам обрабатывает attention‑карты и формирует предсказания, инвариантные к алгебраическим симметриям между моделями, что позволяет нулевошот‑мониторинг LLM.
- На 16 моделях и шести наборах данных для обнаружения галлюцинаций и джейлбрейков LEMON опережает базовые методы в нулевошот‑настройке, улучшая показатели до 14 ROC‑AUC при пренебрежимых затратах времени.
- Сделав мониторинг внутренних представлений инвариантным к симметриям между моделями, LEMON снижает необходимость в повторной разметке и дообучении при появлении новых LLM, позволяя дешевле и онлайн обнаруживать галлюцинации и джейлбрейки.
ПОЧЕМУ ЭТО ВАЖНО
Сделав мониторинг внутренних представлений инвариантным к симметриям между моделями, LEMON снижает необходимость в повторной разметке и дообучении при появлении новых LLM, позволяя дешевле и онлайн обнаруживать галлюцинации и джейлбрейки.