Руководство Amazon SageMaker AI: SeqKD для более эффективных агентных моделей
В блоге Amazon SageMaker AI описывается применение sequence-level knowledge distillation (SeqKD) для обучения более компактных и дешёвых «студентских» моделей, воспроизводящих многошаговое поведение крупных «учительских» моделей. В материале показано, как генерировать траектории агента через API учителя, отбирать успешные прогоны с помощью программного оценщика, кодировать данные для SFT, запускать серверное (serverless) обучение и оценивать студента на отложенном бенчмарке.