ИССЛЕДОВАНИЕ · RESEARCH · #2012
Измерение энергоэффективности вывода 86 открытых контрольных точек LLM по бенчмаркам, режимам рассуждения и оборудованию
Предпечатная работа в arXiv (arXiv:2610.14389v1) содержит прямые измерения энергии вывода для 86 открытых контрольных точек моделей по семи бенчмаркам и на шести типах оборудования. В исследовании обнаружены большие различия в энергоэффективности даже у моделей со схожими показателями (в среднем конфигурации используют на 2.6–4.8× больше энергии по сравнению с парето-оптимальным вариантом, максимум — до 27×), режимы рассуждения увеличивают энергопотребление примерно в 3.7×, подсчёт сгенерированных токенов неверно ранжирует 18–24% пар моделей как прокси по энергии, FP8 даёт около 25% экономии энергии при малом изменении качества, а смена оборудования в основном масштабирует энергопотребление без изменения относительного ранжирования моделей; авторы предлагают публиковать оценки бенчмарков вместе с измеренным энергопотреблением для заданного режима обслуживания и бюджета вывода.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Предпечатная работа в arXiv (arXiv:2610.14389v1) содержит прямые измерения энергии вывода для 86 открытых контрольных точек моделей по семи бенчмаркам и на шести типах оборудования.
- В исследовании обнаружены большие различия в энергоэффективности даже у моделей со схожими показателями (в среднем конфигурации используют на 2.6–4.8× больше энергии по сравнению с парето-оптимальным вариантом, максимум — до 27×), режимы рассуждения увеличивают энергопотребление примерно в 3.7×, подсчёт сгенерированных токенов неверно ранжирует 18–24% пар моделей как прокси по энергии, FP8 даёт около 25% экономии энергии при малом изменении качества, а смена оборудования в основном масштабирует энергопотребление без изменения относительного ранжирования моделей; авторы предлагают публиковать оценки бенчмарков вместе с измеренным энергопотреблением для заданного режима обслуживания и бюджета вывода.
- Поскольку одни лишь оценки по бенчмаркам скрывают затраты при развёртывании и экологические/операционные компромиссы, измерение энергии вывода необходимо для корректного сравнения и обоснованных решений о развёртывании.
ПОЧЕМУ ЭТО ВАЖНО
Поскольку одни лишь оценки по бенчмаркам скрывают затраты при развёртывании и экологические/операционные компромиссы, измерение энергии вывода необходимо для корректного сравнения и обоснованных решений о развёртывании.