ИССЛЕДОВАНИЕ · RESEARCH · #3861
Превью: предсказатель на CatBoost оценивает реальное время дообучения значительно точнее оценки по FLOP
Превью готовящейся статьи рассматривает 272 задания по supervised fine-tuning (≈7 382 GPU‑часа) на NVIDIA H200 и показывает, что регрессор CatBoost, использующий только параметры конфигурации до запуска, достигает R²=0.98, MAE=1.71 ч (медианная ошибка 0.51 ч), тогда как аналитическая оценка по FLOP даёт R²=0.31, MAE=12.41 ч. Обученная модель использует признаки, отражающие накладные расходы (частота оценки, ввод/вывод чекпоинтов, объёмы токенов на GPU и т. п.), что делает её применимой для планирования на общих кластерах без логов выполнения.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Превью готовящейся статьи рассматривает 272 задания по supervised fine-tuning (≈7 382 GPU‑часа) на NVIDIA H200 и показывает, что регрессор CatBoost, использующий только параметры конфигурации до запуска, достигает R²=0.98, MAE=1.71 ч (медианная ошибка 0.51 ч), тогда как аналитическая оценка по FLOP даёт R²=0.31, MAE=12.41 ч.
- Обученная модель использует признаки, отражающие накладные расходы (частота оценки, ввод/вывод чекпоинтов, объёмы токенов на GPU и т.
- п.), что делает её применимой для планирования на общих кластерах без логов выполнения.
ПОЧЕМУ ЭТО ВАЖНО
Более точные оценки времени до запуска позволяют эффективнее планировать задания в общих GPU‑кластерах, уменьшать простой оборудования и задержки в очереди.