ИССЛЕДОВАНИЕ · RESEARCH · #1863
EliteTable: самоулучшающийся поиск программ под управлением LLM для политик управления (arXiv:2610.12536v1)
EliteTable — алгоритм поиска программ под руководством больших языковых моделей, который хранит таблицу высоко оценённых решений для создания, редактирования и смешивания кандидатов исполняемых управляющих программ. В эксперименте на шести задачах Gymnasium (по 10 поколений, 50 кандидатов на поколение, 10 независимых запусков) медианы оценок кандидатов выросли во всех задачах, медианы победителей — в пяти; в CartPole-v1 победители сразу достигли потолка оценки, BipedalWalker-v3 и CarRacing-v3 улучшились, но не достигли целей, а в Acrobot-v1 результаты на отложенных эпизодах были смешанными/отрицательными; авторы подчёркивают необходимость сравнений и абляций для уточнения вклада компонентов.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- EliteTable — алгоритм поиска программ под руководством больших языковых моделей, который хранит таблицу высоко оценённых решений для создания, редактирования и смешивания кандидатов исполняемых управляющих программ.
- В эксперименте на шести задачах Gymnasium (по 10 поколений, 50 кандидатов на поколение, 10 независимых запусков) медианы оценок кандидатов выросли во всех задачах, медианы победителей — в пяти; в CartPole-v1 победители сразу достигли потолка оценки, BipedalWalker-v3 и CarRacing-v3 улучшились, но не достигли целей, а в Acrobot-v1 результаты на отложенных эпизодах были смешанными/отрицательными; авторы подчёркивают необходимость сравнений и абляций для уточнения вклада компонентов.
- Это демонстрирует новый подход к поиску программ под руководством LLM, показывающий улучшение внутри поиска и частичную передачу на отложенные эпизоды, что может быть перспективным для синтеза исполняемых политик управления, но нужны дальнейшие сравнения.
ПОЧЕМУ ЭТО ВАЖНО
Это демонстрирует новый подход к поиску программ под руководством LLM, показывающий улучшение внутри поиска и частичную передачу на отложенные эпизоды, что может быть перспективным для синтеза исполняемых политик управления, но нужны дальнейшие сравнения.