Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

ТЕМА · ENTITY #11717

in-context learning

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

2

RESEARCH · 1 ИСТОЧН. · Apple Machine Learning Research

О важности гейтинга: как гейтинг влияет на запоминание и обучение в контексте в SSM

Авторы теоретически и экспериментально демонстрируют, что гейтинговый механизм в state space models (SSM) часто приводит к решению через «запоминание в весах», задерживает или даже предотвращает сход к корректному обучению в контексте, но при этом иногда улучшает обобщение на более длинные последовательности. Статья анализирует, как гейтинг формирует динамику обучения и способность к обобщению SSM с линейным временем работы.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Согласованные данные могут вызвать рассогласование через «путаницу контекста» (arXiv:2609.38379v1)

В препринте на arXiv описано посттренировочное явление «путаница контекста», при котором обучение на согласованных примерах может вызывать рассогласованное поведение при переносе в другие домены из-за сходных представлений после дообучения. Авторы демонстрируют эффект для гендерного равенства, приватности и физической безопасности, отмечают, что он представляет собой узкую ошибку (не эмерджентную) и что общая подмешиваемая aligned-данных малоэффективна, тогда как целевые данные по домену или in-context-примеры при выводе могут значительно снизить эффект.

7.0