D-Skill: дистилляция знаний черного ящика-учителя в навыки на естественном языке
D-Skill — это методика, которая анализирует парные прогонки учителя и студента, чтобы извлечь интерпретируемые навыки на естественном языке, которые студент получает во время вывода. Построенная полностью офлайн на фиксированных траекториях без дальнейшего взаимодействия со средой или обновления весов, D-Skill сокращает разрыв в производительности учитель–студент на 75%–95% для SpreadsheetBench-Verified, ALFWorld и шахматных задач, превосходит SFT с одной эпохой после одного офлайн-прохода, сопоставима с многоэпохной SFT и обеспечивает в 5.7–8.3 раза меньшую стоимость вывода на задачу для студента.