ИССЛЕДОВАНИЕ · RESEARCH · #1768
arXiv:2610.11007v1 моделирует постоянно загружаемый контекст LLM как задачу ёмкостного ассортимента с цензурированной обратной связью
В статье формализуют задачу кураторства фиксированных контекстных файлов (например, AGENTS.md) для LLM как задачу ёмкостного ассортимента, где инструкции потребляют ограниченную «внимательность» (токены), а сохранение инструкций влечёт затраты на установку. Авторы доказывают верхнюю оценку оптимального размера файла, показывают, что простое добавление всех инструкций с положительной самостоятельной ценностью может быть существенно не оптимальным, исследуют обучение при цензурированной обратной связи (отсутствие инструкции даёт сигнал только при вреде), приводят оценки требуемых доказательств и регрета при ограниченных ревьюерах, и в экспериментах показывают, что нерелевантные правила ухудшают соответствие моделей.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье формализуют задачу кураторства фиксированных контекстных файлов (например, AGENTS.md) для LLM как задачу ёмкостного ассортимента, где инструкции потребляют ограниченную «внимательность» (токены), а сохранение инструкций влечёт затраты на установку.
- Авторы доказывают верхнюю оценку оптимального размера файла, показывают, что простое добавление всех инструкций с положительной самостоятельной ценностью может быть существенно не оптимальным, исследуют обучение при цензурированной обратной связи (отсутствие инструкции даёт сигнал только при вреде), приводят оценки требуемых доказательств и регрета при ограниченных ревьюерах, и в экспериментах показывают, что нерелевантные правила ухудшают соответствие моделей.
- Понимание и оценка компромиссов постоянно загружаемого контекста (ограничения размера, цензурированная обратная связь и ограничения на правки) важны для надёжного поведения LLM-агентов и масштабируемого управления контекстом.
ПОЧЕМУ ЭТО ВАЖНО
Понимание и оценка компромиссов постоянно загружаемого контекста (ограничения размера, цензурированная обратная связь и ограничения на правки) важны для надёжного поведения LLM-агентов и масштабируемого управления контекстом.