НОВОСТЬ · RESEARCH · #146
Маршрутизация с учётом углеродного следа для вызова функций в распределённых LLM-системах (edge‑cloud)
В статье на arXiv предложена схема маршрутизации с учётом углеродного следа, которая распределяет запросы на вызов функций по трёхуровневой edge‑cloud архитектуре, используя LLM на периферии и в облаке. Лёгкий k‑NN предсказатель в едином семантико‑лексическом пространстве оценивает для каждого запроса точность, задержку и потребляемую мощность и, учитывая текущую углеродную интенсивность сети, направляет запрос на наименее углеродоёмкий уровень; в оценках заявлено сопоставимое с облаком качество при снижении выбросов примерно в 4× в среднем.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье на arXiv предложена схема маршрутизации с учётом углеродного следа, которая распределяет запросы на вызов функций по трёхуровневой edge‑cloud архитектуре, используя LLM на периферии и в облаке.
- Лёгкий k‑NN предсказатель в едином семантико‑лексическом пространстве оценивает для каждого запроса точность, задержку и потребляемую мощность и, учитывая текущую углеродную интенсивность сети, направляет запрос на наименее углеродоёмкий уровень; в оценках заявлено сопоставимое с облаком качество при снижении выбросов примерно в 4× в среднем.
- Это важно, поскольку предлагает практический способ уменьшить углеродный след при развертывании LLM за счёт маршрутизации запросов на менее углеродоёмкие ресурсы edge без потери точности.
ПОЧЕМУ ЭТО ВАЖНО
Это важно, поскольку предлагает практический способ уменьшить углеродный след при развертывании LLM за счёт маршрутизации запросов на менее углеродоёмкие ресурсы edge без потери точности.