Echo: коррекционный 4‑битный all‑reduce для тензорного параллелизма при обучении и выводе LLM
В статье на arXiv предложен Echo — 4‑битный протокол all‑reduce для тензорного параллелизма при обучении и выводе LLM, который передаёт данные в 4 бита, суммирует в высокой точности и передаёт погрешности округления в последующие вызовы, чтобы они компенсировались, а не накапливались. Авторы доказывают, что накопленная ошибка не зависит от глубины, и приводят результаты: Echo в 2.09× быстрее 16‑битного NCCL all‑reduce при сообщениях 1 ГБ на A100, ускоряет время до первого токена и шаг обучения до ~1.16×/1.09× на тихой сети (и сильнее при фоне), сохраняет точность в пределах 0.4 пункта для Qwen3‑8B и даёт <0.9% больший итоговый loss после 10B токенов, без требований к FP8/FP4‑оборудованию.