ИССЛЕДОВАНИЕ · RESEARCH · #2692
Cognition-Aligned Reasoning Distillation (CARD): преобразование траекторий решателя в траектории обучения
В статье представлен CARD — фреймворк на основе RL, который преобразует имеющиеся траектории решателя в траектории обучения, согласованные с когнитивными возможностями студента, оптимизируя два вознаграждения (совпадение распределений и логическая согласованность) для облегчения усвоения рассуждений малыми моделями. Оценки показывают улучшение дистилляции в домене и значительный рост качества вне домена; код доступен на GitHub авторов.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье представлен CARD — фреймворк на основе RL, который преобразует имеющиеся траектории решателя в траектории обучения, согласованные с когнитивными возможностями студента, оптимизируя два вознаграждения (совпадение распределений и логическая согласованность) для облегчения усвоения рассуждений малыми моделями.
- Оценки показывают улучшение дистилляции в домене и значительный рост качества вне домена; код доступен на GitHub авторов.
- Согласование траекторий учителя с когнитивными возможностями студента делает дистилляцию рассуждений более экономной по образцам и повышает устойчивость к смещению распределения, устраняя практическое несоответствие между большими солверами (часто обученными RLHF) и малыми моделями.
ПОЧЕМУ ЭТО ВАЖНО
Согласование траекторий учителя с когнитивными возможностями студента делает дистилляцию рассуждений более экономной по образцам и повышает устойчивость к смещению распределения, устраняя практическое несоответствие между большими солверами (часто обученными RLHF) и малыми моделями.