Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИССЛЕДОВАНИЕ · RESEARCH · #3861

Превью: предсказатель на CatBoost оценивает реальное время дообучения значительно точнее оценки по FLOP

Превью готовящейся статьи рассматривает 272 задания по supervised fine-tuning (≈7 382 GPU‑часа) на NVIDIA H200 и показывает, что регрессор CatBoost, использующий только параметры конфигурации до запуска, достигает R²=0.98, MAE=1.71 ч (медианная ошибка 0.51 ч), тогда как аналитическая оценка по FLOP даёт R²=0.31, MAE=12.41 ч. Обученная модель использует признаки, отражающие накладные расходы (частота оценки, ввод/вывод чекпоинтов, объёмы токенов на GPU и т. п.), что делает её применимой для планирования на общих кластерах без логов выполнения.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Превью готовящейся статьи рассматривает 272 задания по supervised fine-tuning (≈7 382 GPU‑часа) на NVIDIA H200 и показывает, что регрессор CatBoost, использующий только параметры конфигурации до запуска, достигает R²=0.98, MAE=1.71 ч (медианная ошибка 0.51 ч), тогда как аналитическая оценка по FLOP даёт R²=0.31, MAE=12.41 ч.
  2. Обученная модель использует признаки, отражающие накладные расходы (частота оценки, ввод/вывод чекпоинтов, объёмы токенов на GPU и т.
  3. п.), что делает её применимой для планирования на общих кластерах без логов выполнения.

ПОЧЕМУ ЭТО ВАЖНО

Более точные оценки времени до запуска позволяют эффективнее планировать задания в общих GPU‑кластерах, уменьшать простой оборудования и задержки в очереди.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1