ИССЛЕДОВАНИЕ · RESEARCH · #1831
Context Language Models позволяют LLM редактировать и управлять собственным контекстом для повышения качества
Исследователи из Meta, MIT и Университета Вашингтона предложили «Context Language Models» (CLM) — подход, при котором модель рассматривает контекст как редактируемый файл и может переписывать его для сохранения фактов, удаления лишнего и выработки стратегий управления контекстом. В оценках на бенчмарках (BrowseComp-Plus, EdgeBench, ContextBench) отмечены значительные улучшения — например, zero-shot CLM дал +11.4% точности при снижении FLOPs на 21.5% на BrowseComp-Plus, а RL повысил Qwen3.5-9B с 28.8% до 42.5% на BrowseComp-Plus при сокращении вычислений — при этом авторы отмечают риски (утеря информации, векторы для инъекций промптов, инвалидизация кэша и неопределённая пригодность в продакшене).
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Исследователи из Meta, MIT и Университета Вашингтона предложили «Context Language Models» (CLM) — подход, при котором модель рассматривает контекст как редактируемый файл и может переписывать его для сохранения фактов, удаления лишнего и выработки стратегий управления контекстом.
- В оценках на бенчмарках (BrowseComp-Plus, EdgeBench, ContextBench) отмечены значительные улучшения — например, zero-shot CLM дал +11.4% точности при снижении FLOPs на 21.5% на BrowseComp-Plus, а RL повысил Qwen3.5-9B с 28.8% до 42.5% на BrowseComp-Plus при сокращении вычислений — при этом авторы отмечают риски (утеря информации, векторы для инъекций промптов, инвалидизация кэша и неопределённая пригодность в продакшене).
- Перенос управления контекстом внутрь модели может значительно улучшить точность и эффективность вычислений, но создаёт новые компромиссы по безопасности и надёжности, связанные с удалениями, инъекциями промптов и кэшированием.
ПОЧЕМУ ЭТО ВАЖНО
Перенос управления контекстом внутрь модели может значительно улучшить точность и эффективность вычислений, но создаёт новые компромиссы по безопасности и надёжности, связанные с удалениями, инъекциями промптов и кэшированием.