Shadow Engine Recovery в NVIDIA Dynamo восстанавливает мощность инференса LLM за секунды
NVIDIA представляет функцию Shadow Engine Recovery в системе Dynamo, которая может восстановить мощность инференса LLM за секунды, избегая стандартного холодного перезапуска с повторной загрузкой весов в HBM и перекомпиляцией ядер. Это позиционируется как быстрый механизм восстановления для отказавших процессов движка LLM.