Amazon SageMaker добавляет SOCI-индексированные образы для ускорения обучений и задач обработки
Amazon объявил о поддержке индексации Seekable OCI (SOCI) в задачах обучения и обработки AI в SageMaker. SOCI позволяет ленивую загрузку образов в Amazon ECR (можно использовать заранее проиндексированные AWS Deep Learning Container или добавить индекс к своему образу): SageMaker загружает только файлы, необходимые для запуска контейнера, а остальное стримит по мере обращения, что в бенчмарках AWS сократило время старта до нескольких секунд (измеренные ускорения загрузки примерно 8x–46x, около 34x для образа 13.2 ГБ) и привело к снижению простоя GPU до 90%, без изменений в определениях задач и с автоматическим откатом к стандартной загрузке.