ИССЛЕДОВАНИЕ · RESEARCH · #724
Статья на arXiv: дообучение изменяет представления в LLM, но причинно важные компоненты EAP не совпадают с ними
Новая статья на arXiv (arXiv:2609.21113v1) исследует, как дообучение меняет внутренние механизмы LLM и коррелируют ли эти изменения с компонентами, важными для задачи по методике EAP (например, attention-heads и логит-активации). Авторы сообщают, что компоненты, выделенные EAP, локализованы в отдельных слоях, но их распределение почти не коррелирует со слоями, где происходят наибольшие представationalные изменения при дообучении; совпадение EAP-компонентов между задачами не гарантирует перенос и иногда приводит к ухудшению производительности между разными типами задач.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Новая статья на arXiv (arXiv:2609.21113v1) исследует, как дообучение меняет внутренние механизмы LLM и коррелируют ли эти изменения с компонентами, важными для задачи по методике EAP (например, attention-heads и логит-активации).
- Авторы сообщают, что компоненты, выделенные EAP, локализованы в отдельных слоях, но их распределение почти не коррелирует со слоями, где происходят наибольшие представationalные изменения при дообучении; совпадение EAP-компонентов между задачами не гарантирует перенос и иногда приводит к ухудшению производительности между разными типами задач.
- Это важно, поскольку показывает несоответствие между расположением причинно важных компонентов и слоями с изменившимися представлениями при дообучении, что влияет на интерпретацию, модульные вмешательства и ожидания переноса или катастрофического забывания.
ПОЧЕМУ ЭТО ВАЖНО
Это важно, поскольку показывает несоответствие между расположением причинно важных компонентов и слоями с изменившимися представлениями при дообучении, что влияет на интерпретацию, модульные вмешательства и ожидания переноса или катастрофического забывания.