Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

ТЕМА · ENTITY #3744

attention heads

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

3

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Обнаружение галлюцинаций в LLM через топологию графов внимания (arXiv:2609.21096v1)

В препринте предлагается однопроходный метод для обнаружения галлюцинаций в LLM путём анализа топологии потоков информации в графах внимания с применением кривизны Формана-Риччи для поиска «узких мест». Авторы сообщают постоянные улучшения по сравнению с предыдущими подходами на двух бенчмарках по детекции галлюцинаций и показывают связь галлюцинаций с нарушенным обменом контекстом (например, чрезмерная опора на self-attention, размытый доступ к ранним токенам или «пересжатие» информации), особенно в последнем слое трансформера, на нескольких архитектурах LLM.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Статья на arXiv: дообучение изменяет представления в LLM, но причинно важные компоненты EAP не совпадают с ними

Новая статья на arXiv (arXiv:2609.21113v1) исследует, как дообучение меняет внутренние механизмы LLM и коррелируют ли эти изменения с компонентами, важными для задачи по методике EAP (например, attention-heads и логит-активации). Авторы сообщают, что компоненты, выделенные EAP, локализованы в отдельных слоях, но их распределение почти не коррелирует со слоями, где происходят наибольшие представationalные изменения при дообучении; совпадение EAP-компонентов между задачами не гарантирует перенос и иногда приводит к ухудшению производительности между разными типами задач.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Четырехэтапная декомпозиция математического рассуждения LLM; уязвимость к отвлекающим фразам локализована в этапе «планирование операций»

Авторы предлагают, что LLM решают школьные текстовые задачи по математике через четырехэтапный конвейер — Schema Abstraction, Operation Planning, Operand Binding и Computation — причём каждый этап формирует отдельное промежуточное представление в определённых слоях. Анализ отказов показывает, что добавление одной нерелевантной фразы нарушает именно этап Operation Planning, реализованный набором attention‑хедов, роль которых подтверждена каузальными вмешательствами в обоих направлениях.

7.0