РЕГУЛИРОВАНИЕ · MODELS · #2285
GPT-OSS-20B дообучили для многоязычного рассуждения на Amazon SageMaker HyperPod
Команда дообучила модель GPT-OSS-20B на многоязычном датасете цепочек рассуждений (HuggingFaceH4/Multilingual-Thinking) с использованием SFT и GRPO на Amazon SageMaker HyperPod (EKS, LoRA, TRL/veRL, vLLM, Ray/KubeRay, Amazon FSx for Lustre). Итог: базовая модель почти всегда генерировала цепочки рассуждений на английском; SFT устраняет большую часть разрыва в поведении по языку, а GRPO даёт добавочный эффект лишь когда желаемое поведение уже встречается с ненулевой вероятностью.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Команда дообучила модель GPT-OSS-20B на многоязычном датасете цепочек рассуждений (HuggingFaceH4/Multilingual-Thinking) с использованием SFT и GRPO на Amazon SageMaker HyperPod (EKS, LoRA, TRL/veRL, vLLM, Ray/KubeRay, Amazon FSx for Lustre).
- Итог: базовая модель почти всегда генерировала цепочки рассуждений на английском; SFT устраняет большую часть разрыва в поведении по языку, а GRPO даёт добавочный эффект лишь когда желаемое поведение уже встречается с ненулевой вероятностью.
- Это даёт практическую рекомендацию: SFT обычно обучает отсутствующему поведению, а GRPO уточняет уже встречающееся поведение, и демонстрирует масштабируемый стек SageMaker HyperPod для такого дообучения.
ПОЧЕМУ ЭТО ВАЖНО
Это даёт практическую рекомендацию: SFT обычно обучает отсутствующему поведению, а GRPO уточняет уже встречающееся поведение, и демонстрирует масштабируемый стек SageMaker HyperPod для такого дообучения.