НОВОСТЬ · MODELS · #280
Exphormer: масштабирование графовых трансформеров с помощью экспандер-графов
Exphormer — это фреймворк с разреженным вниманием для графовых трансформеров от Google Research (представлен на ICML 2023), который заменяет плотный граф взаимодействий полным вниманием на разрежённый d-регулярный экспандер (используется случайная конструкция Фридмана, близкая к раманджуану). Подход комбинирует ребра экспандера с входным графом и виртуальными узлами, даёт линейное число рёбер и показывает сильные эмпирические результаты на разных графовых датасетах; реализация доступна на GitHub.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Exphormer — это фреймворк с разреженным вниманием для графовых трансформеров от Google Research (представлен на ICML 2023), который заменяет плотный граф взаимодействий полным вниманием на разрежённый d-регулярный экспандер (используется случайная конструкция Фридмана, близкая к раманджуану).
- Подход комбинирует ребра экспандера с входным графом и виртуальными узлами, даёт линейное число рёбер и показывает сильные эмпирические результаты на разных графовых датасетах; реализация доступна на GitHub.
- Снижение квадратичной сложности полного внимания на графах с помощью разрежённого графа взаимодействий на основе экспандеров делает трансформеры применимыми к значительно большим графовым данным.
ПОЧЕМУ ЭТО ВАЖНО
Снижение квадратичной сложности полного внимания на графах с помощью разрежённого графа взаимодействий на основе экспандеров делает трансформеры применимыми к значительно большим графовым данным.