РЕГУЛИРОВАНИЕ · MODELS · #1082
Снимки Pod в GKE сокращают время старта моделей до 89%; GA на 1.35.3-gke.1234000+
Google опубликовала бенчмарки для снимков Pod в GKE (общая доступность в мае для кластеров с 1.35.3-gke.1234000 и выше), которые создают контрольные точки и восстанавливают полный статус Pod, включая память CPU/GPU, показывая сокращение времени запуска до 89% (модель на 70 млрд параметров — за 37 с, модель на 8 млрд — за 15 с). Функция использует gVisor и GKE Sandbox (в Autopilot включено по умолчанию), хранит данные в Cloud Storage и настраивается PodSnapshotStorageConfig и PodSnapshotPolicy; правила совместимости и ограничения по восстановлению переводят работу на управление жизненным циклом снимков.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Google опубликовала бенчмарки для снимков Pod в GKE (общая доступность в мае для кластеров с 1.35.3-gke.1234000 и выше), которые создают контрольные точки и восстанавливают полный статус Pod, включая память CPU/GPU, показывая сокращение времени запуска до 89% (модель на 70 млрд параметров — за 37 с, модель на 8 млрд — за 15 с).
- Функция использует gVisor и GKE Sandbox (в Autopilot включено по умолчанию), хранит данные в Cloud Storage и настраивается PodSnapshotStorageConfig и PodSnapshotPolicy; правила совместимости и ограничения по восстановлению переводят работу на управление жизненным циклом снимков.
- Это значительно влияет на развёртывание ML: резко снижает холодный старт больших моделей, но создаёт новые операционные и совместимые задачи по управлению жизненным циклом снимков, хранилищу и безопасному восстановления.
ПОЧЕМУ ЭТО ВАЖНО
Это значительно влияет на развёртывание ML: резко снижает холодный старт больших моделей, но создаёт новые операционные и совместимые задачи по управлению жизненным циклом снимков, хранилищу и безопасному восстановления.