Маршрутизация с учётом углеродного следа для вызова функций в распределённых LLM-системах (edge‑cloud)
В статье на arXiv предложена схема маршрутизации с учётом углеродного следа, которая распределяет запросы на вызов функций по трёхуровневой edge‑cloud архитектуре, используя LLM на периферии и в облаке. Лёгкий k‑NN предсказатель в едином семантико‑лексическом пространстве оценивает для каждого запроса точность, задержку и потребляемую мощность и, учитывая текущую углеродную интенсивность сети, направляет запрос на наименее углеродоёмкий уровень; в оценках заявлено сопоставимое с облаком качество при снижении выбросов примерно в 4× в среднем.