Статья на arXiv: дообучение изменяет представления в LLM, но причинно важные компоненты EAP не совпадают с ними
Новая статья на arXiv (arXiv:2609.21113v1) исследует, как дообучение меняет внутренние механизмы LLM и коррелируют ли эти изменения с компонентами, важными для задачи по методике EAP (например, attention-heads и логит-активации). Авторы сообщают, что компоненты, выделенные EAP, локализованы в отдельных слоях, но их распределение почти не коррелирует со слоями, где происходят наибольшие представationalные изменения при дообучении; совпадение EAP-компонентов между задачами не гарантирует перенос и иногда приводит к ухудшению производительности между разными типами задач.