ИССЛЕДОВАНИЕ · RESEARCH · #2084
Глубокое RL для планирования задач в HPC — статистическая оценка: MaskablePPO лучше на гетерогенной траектории
Представлен доклад в arXiv, сравнивающий шесть методов глубокого обучения с подкреплением (PPO, A2C, DQN, каждая версия с маскированием и без) с тремя эвристиками и парным по семенам маскированным случайным контролем на двух реальных трассах Slurm (однородной и гетерогенной) в непараметрическом анализе. Маскированные варианты завершили оценку, немаскированные были усечены; на однородной трассе ни один маскированный DRL не превзошёл маскированный случайный контроль, а на гетерогенной трассе MaskablePPO улучшил среднее время ожидания, среднее и максимальное ограниченное замедление (макс. замедление на 22% ниже, чем у LCFS), показал лучший ранг по среднему времени ожидания среди завершивших методы и имел наименьшее среднее время обучения среди маскированных вариантов, при этом MaskableDQN продемонстрировал наименьшую задержку принятия решения.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Представлен доклад в arXiv, сравнивающий шесть методов глубокого обучения с подкреплением (PPO, A2C, DQN, каждая версия с маскированием и без) с тремя эвристиками и парным по семенам маскированным случайным контролем на двух реальных трассах Slurm (однородной и гетерогенной) в непараметрическом анализе.
- Маскированные варианты завершили оценку, немаскированные были усечены; на однородной трассе ни один маскированный DRL не превзошёл маскированный случайный контроль, а на гетерогенной трассе MaskablePPO улучшил среднее время ожидания, среднее и максимальное ограниченное замедление (макс.
- замедление на 22% ниже, чем у LCFS), показал лучший ранг по среднему времени ожидания среди завершивших методы и имел наименьшее среднее время обучения среди маскированных вариантов, при этом MaskableDQN продемонстрировал наименьшую задержку принятия решения.
ПОЧЕМУ ЭТО ВАЖНО
Показывает, что маскирование действий и маскированный случайный контроль необходимы для отделения реальной выгоды от обучения в планировании задач, и что MaskablePPO даёт заметную пользу на гетерогенных нагрузках HPC, но не во всех случаях.