ИССЛЕДОВАНИЕ · RESEARCH · #2635
AOS-Bench: бенчмарк для LLM‑агентов, управляющих динамическими задачами с ограниченными ресурсами
Статья (arXiv:2610.33178v1) представляет AOS-Bench — бенчмарк для оценки LLM‑агентов как диспетчеров рабочих нагрузок: проверяемые задачи приходят по потоку и должны выполняться в рамках общих ограничений CPU и памяти. Эксперименты с пятью парами моделей и окружений показывают заметное ухудшение успеха при потоковой подаче по сравнению с изолированными задачами, связывают большую часть разрыва с приёмом и распределением задач и отмечают, что простая политика фиксированной параллельности близка к лучшей управляемой политике при низкой медианной загрузке CPU.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Статья (arXiv:2610.33178v1) представляет AOS-Bench — бенчмарк для оценки LLM‑агентов как диспетчеров рабочих нагрузок: проверяемые задачи приходят по потоку и должны выполняться в рамках общих ограничений CPU и памяти.
- Эксперименты с пятью парами моделей и окружений показывают заметное ухудшение успеха при потоковой подаче по сравнению с изолированными задачами, связывают большую часть разрыва с приёмом и распределением задач и отмечают, что простая политика фиксированной параллельности близка к лучшей управляемой политике при низкой медианной загрузке CPU.
- AOS-Bench выделяет управление рабочими нагрузками как отдельную способность агентов и даёт воспроизводимый инструмент для измерения приёма задач, планирования и соблюдения лимитов ресурсов при реальных потоках работы.
ПОЧЕМУ ЭТО ВАЖНО
AOS-Bench выделяет управление рабочими нагрузками как отдельную способность агентов и даёт воспроизводимый инструмент для измерения приёма задач, планирования и соблюдения лимитов ресурсов при реальных потоках работы.
ИСТОЧНИКИ И ХРОНОЛОГИЯ
1arXiv:2610.33178v1 Announce Type: new Abstract: Coding agents are moving from handling one request at a time to serving as persistent assistants to which users hand a stream of work: a build, a data-processing job and a bug fix may all be pending on the same machine at once. Such an agent must decide when to take on new tasks, how to delegate and overlap them, and how to stay within the machine's CPU and memory. Exis…
arXiv:2610.36188v1 Announce Type: new Abstract: Large language model (LLM) agents increasingly rely on reusable skills for complex software engineering tasks, making skill libraries essential for repository development and maintenance. However, repository-specific skills must evolve with changing code structures, implementation conventions, and maintenance requirements. Pull requests (PRs) provide a natural source of…