НОВОСТЬ · COMPANIES · #2672
Amazon SageMaker добавляет SOCI-индексированные образы для ускорения обучений и задач обработки
Amazon объявил о поддержке индексации Seekable OCI (SOCI) в задачах обучения и обработки AI в SageMaker. SOCI позволяет ленивую загрузку образов в Amazon ECR (можно использовать заранее проиндексированные AWS Deep Learning Container или добавить индекс к своему образу): SageMaker загружает только файлы, необходимые для запуска контейнера, а остальное стримит по мере обращения, что в бенчмарках AWS сократило время старта до нескольких секунд (измеренные ускорения загрузки примерно 8x–46x, около 34x для образа 13.2 ГБ) и привело к снижению простоя GPU до 90%, без изменений в определениях задач и с автоматическим откатом к стандартной загрузке.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Amazon объявил о поддержке индексации Seekable OCI (SOCI) в задачах обучения и обработки AI в SageMaker.
- SOCI позволяет ленивую загрузку образов в Amazon ECR (можно использовать заранее проиндексированные AWS Deep Learning Container или добавить индекс к своему образу): SageMaker загружает только файлы, необходимые для запуска контейнера, а остальное стримит по мере обращения, что в бенчмарках AWS сократило время старта до нескольких секунд (измеренные ускорения загрузки примерно 8x–46x, около 34x для образа 13.2 ГБ) и привело к снижению простоя GPU до 90%, без изменений в определениях задач и с автоматическим откатом к стандартной загрузке.
- Сокращает оплачиваемое время простоя GPU/VM и задержку старта задач, снижая затраты и ускоряя итерации при подборе гиперпараметров и кратких экспериментах, где загрузка образов раньше доминировала во времени выполнения.
ПОЧЕМУ ЭТО ВАЖНО
Сокращает оплачиваемое время простоя GPU/VM и задержку старта задач, снижая затраты и ускоряя итерации при подборе гиперпараметров и кратких экспериментах, где загрузка образов раньше доминировала во времени выполнения.