ИССЛЕДОВАНИЕ · RESEARCH · #2998
CLR-Bench: бенчмарк для самоэволюционирующих агентов с курсом скрытых правил (arXiv:2610.40758v1)
В статье представлен CLR-Bench — «Курс скрытых правил», где уровни добавляют по одному скрытому правилу; опубликованы 20 цепочек по 10 доменам, а тесты проверяют, что базовые модели не делают выводы без обратной связи. Оценены шесть методов самоэволюции: большинство почти не улучшаются (максимальный прирост ≤5 пунктов), фиксированный явный урок повышает результат на ~14.5–16.5 пунктов, а с более сильной моделью (GPT-6-Sol) ACE и Dynamic Cheatsheet достигают ~78% точности и решают ~59–60% ячеек против ~53% точности и ~8% решённых ячеек у сертифицирующей модели.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье представлен CLR-Bench — «Курс скрытых правил», где уровни добавляют по одному скрытому правилу; опубликованы 20 цепочек по 10 доменам, а тесты проверяют, что базовые модели не делают выводы без обратной связи.
- Оценены шесть методов самоэволюции: большинство почти не улучшаются (максимальный прирост ≤5 пунктов), фиксированный явный урок повышает результат на ~14.5–16.5 пунктов, а с более сильной моделью (GPT-6-Sol) ACE и Dynamic Cheatsheet достигают ~78% точности и решают ~59–60% ячеек против ~53% точности и ~8% решённых ячеек у сертифицирующей модели.
- CLR-Bench даёт стандартизированный тест, который показывает, учатся ли агенты извлекать скрытые правила из обратной связи или лишь накапливать исключения, выявляя значительные различия между методами и пользу явного указания правил.
ПОЧЕМУ ЭТО ВАЖНО
CLR-Bench даёт стандартизированный тест, который показывает, учатся ли агенты извлекать скрытые правила из обратной связи или лишь накапливать исключения, выявляя значительные различия между методами и пользу явного указания правил.