Context Language Models позволяют LLM редактировать и управлять собственным контекстом для повышения качества
Исследователи из Meta, MIT и Университета Вашингтона предложили «Context Language Models» (CLM) — подход, при котором модель рассматривает контекст как редактируемый файл и может переписывать его для сохранения фактов, удаления лишнего и выработки стратегий управления контекстом. В оценках на бенчмарках (BrowseComp-Plus, EdgeBench, ContextBench) отмечены значительные улучшения — например, zero-shot CLM дал +11.4% точности при снижении FLOPs на 21.5% на BrowseComp-Plus, а RL повысил Qwen3.5-9B с 28.8% до 42.5% на BrowseComp-Plus при сокращении вычислений — при этом авторы отмечают риски (утеря информации, векторы для инъекций промптов, инвалидизация кэша и неопределённая пригодность в продакшене).