Exphormer: масштабирование графовых трансформеров с помощью экспандер-графов
Exphormer — это фреймворк с разреженным вниманием для графовых трансформеров от Google Research (представлен на ICML 2023), который заменяет плотный граф взаимодействий полным вниманием на разрежённый d-регулярный экспандер (используется случайная конструкция Фридмана, близкая к раманджуану). Подход комбинирует ребра экспандера с входным графом и виртуальными узлами, даёт линейное число рёбер и показывает сильные эмпирические результаты на разных графовых датасетах; реализация доступна на GitHub.