ИССЛЕДОВАНИЕ · RESEARCH · #2561
Иерархическая дистилляция агентов для LLM (arXiv:2610.31918v1)
В работе предложена иерархическая схема дистилляции агентов, разделяющая два уровня «on-policy»: политика, формирующая историю взаимодействия, и политика, генерирующая префикс текущего действия, с возможностью контроля их сочетания, долей и расписания. В трёхэтапном исследовании самодистилляции на трёх моделях и четырёх интерактивных средах авторы показывают, что истории, сгенерированные студентом, в сочетании с префиксами действий от учителя дают наилучший сигнал отдельно, полностью on-policy данные по отдельности работают хуже, но полезны в смесях, а предварительное использование контекстов учителя и отсрочка on-policy улучшает результаты.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе предложена иерархическая схема дистилляции агентов, разделяющая два уровня «on-policy»: политика, формирующая историю взаимодействия, и политика, генерирующая префикс текущего действия, с возможностью контроля их сочетания, долей и расписания.
- В трёхэтапном исследовании самодистилляции на трёх моделях и четырёх интерактивных средах авторы показывают, что истории, сгенерированные студентом, в сочетании с префиксами действий от учителя дают наилучший сигнал отдельно, полностью on-policy данные по отдельности работают хуже, но полезны в смесях, а предварительное использование контекстов учителя и отсрочка on-policy улучшает результаты.
- Дает практические принципы выбора, в какой степени и когда следовать студенту при дистилляции агентов LLM, что влияет на рецепты обучения интерактивных агентов.
ПОЧЕМУ ЭТО ВАЖНО
Дает практические принципы выбора, в какой степени и когда следовать студенту при дистилляции агентов LLM, что влияет на рецепты обучения интерактивных агентов.