ИССЛЕДОВАНИЕ · RESEARCH · #2876
GARDEN: генералистский дизайн вознаграждений через LLM для кооперативного MARL
В статье представлен GARDEN (Generalist Autonomous Reward Design through Evidence Navigation) — метод, где большие языковые модели выступают автономными инженерами вознаграждений, создавая единый программный критерий вознаграждения, который переносится без изменений на близкие кооперативные сценарии MARL. На невиденных сценариях из наборов Overcooked и SMAX GARDEN повысил вознаграждения задач на 58.2% и 52.5% по сравнению с дефолтными, а средний процент побед в двух боевых сценариях вырос с 51.0% до 89.9%, превзойдя фиксированную диагностическую обратную связь и подход, вдохновлённый Eureka, при сопоставимых ресурсах.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье представлен GARDEN (Generalist Autonomous Reward Design through Evidence Navigation) — метод, где большие языковые модели выступают автономными инженерами вознаграждений, создавая единый программный критерий вознаграждения, который переносится без изменений на близкие кооперативные сценарии MARL.
- На невиденных сценариях из наборов Overcooked и SMAX GARDEN повысил вознаграждения задач на 58.2% и 52.5% по сравнению с дефолтными, а средний процент побед в двух боевых сценариях вырос с 51.0% до 89.9%, превзойдя фиксированную диагностическую обратную связь и подход, вдохновлённый Eureka, при сопоставимых ресурсах.
- Показывает, что LLM могут автономно создавать повторно используемые программы вознаграждения, переносимые между близкими кооперативными задачами MARL, что сокращает ручной дизайн вознаграждений и существенно улучшает результаты.
ПОЧЕМУ ЭТО ВАЖНО
Показывает, что LLM могут автономно создавать повторно используемые программы вознаграждения, переносимые между близкими кооперативными задачами MARL, что сокращает ручной дизайн вознаграждений и существенно улучшает результаты.