ИССЛЕДОВАНИЕ · RESEARCH · #1108
T-RoPE: временно-чувствительное вращательное позиционное кодирование для рекомендательных систем
В статье arXiv:2609.30576v1 предложен T-RoPE — временно-чувствительное расширение Rotary Position Embedding (RoPE) для Transformer-рекомендателей, заменяющее индексо-ориентированные вращения на углы по временным меткам, обучаемые временные коэффициенты, мультишкальные частотные банки, сдвиг выравнивания запросов и нестандартную ротацию ключей. Авторы доказывают, что стандартный RoPE инвариантен к сдвигу во времени, показывают лучшие результаты на пяти бенчмарках (например, +78–130% HR@10 на PixelRec; +8–12% на Amazon Books), значительные улучшения на промышленном датасете с >6B взаимодействий (+13–82%) и небольшие положительные онлайн-показатели в приложении Shop (+0.33% конверсии, +0.63% заказов); также описаны практичные алгоритмы с линейной дополнительной стоимостью.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье arXiv:2609.30576v1 предложен T-RoPE — временно-чувствительное расширение Rotary Position Embedding (RoPE) для Transformer-рекомендателей, заменяющее индексо-ориентированные вращения на углы по временным меткам, обучаемые временные коэффициенты, мультишкальные частотные банки, сдвиг выравнивания запросов и нестандартную ротацию ключей.
- Авторы доказывают, что стандартный RoPE инвариантен к сдвигу во времени, показывают лучшие результаты на пяти бенчмарках (например, +78–130% HR@10 на PixelRec; +8–12% на Amazon Books), значительные улучшения на промышленном датасете с >6B взаимодействий (+13–82%) и небольшие положительные онлайн-показатели в приложении Shop (+0.33% конверсии, +0.63% заказов); также описаны практичные алгоритмы с линейной дополнительной стоимостью.
- Сделав позиционные представления чувствительными ко времени, метод устраняет ключевое ограничение в последовательных рекомендателях, обеспечивая значимые оффлайн- и онлайн-приросты при практичной вычислительной стоимости.
ПОЧЕМУ ЭТО ВАЖНО
Сделав позиционные представления чувствительными ко времени, метод устраняет ключевое ограничение в последовательных рекомендателях, обеспечивая значимые оффлайн- и онлайн-приросты при практичной вычислительной стоимости.