Иерархическая дистилляция агентов для LLM (arXiv:2610.31918v1)
В работе предложена иерархическая схема дистилляции агентов, разделяющая два уровня «on-policy»: политика, формирующая историю взаимодействия, и политика, генерирующая префикс текущего действия, с возможностью контроля их сочетания, долей и расписания. В трёхэтапном исследовании самодистилляции на трёх моделях и четырёх интерактивных средах авторы показывают, что истории, сгенерированные студентом, в сочетании с префиксами действий от учителя дают наилучший сигнал отдельно, полностью on-policy данные по отдельности работают хуже, но полезны в смесях, а предварительное использование контекстов учителя и отсрочка on-policy улучшает результаты.