НОВОСТЬ · MODELS · #2999
Предложенные MIC‑фикстуры Transformers могли бы обнаружить баг UMT5 с вниманием в будущее, внесённый при включении SDPA в PyTorch
30 июля 2026 года в Transformers для T5 включили вариант масштабированного скалярного внимания PyTorch (SDPA), что позволило декодеру UMT5 смотреть на будущие токены во время обучения. Проект предлагает Model Integration Contracts (transformers-mic): маленькие зафиксированные фикстуры, выполняемые примеры использования и сохранённые эталоны, запускаемые на дешёвых CPU — при воспроизведении MIC на истории коммитов фикстура UMT5 отметила регрессию с момента её появления до исправления 28 сентября 2026 года.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- 30 июля 2026 года в Transformers для T5 включили вариант масштабированного скалярного внимания PyTorch (SDPA), что позволило декодеру UMT5 смотреть на будущие токены во время обучения.
- Проект предлагает Model Integration Contracts (transformers-mic): маленькие зафиксированные фикстуры, выполняемые примеры использования и сохранённые эталоны, запускаемые на дешёвых CPU — при воспроизведении MIC на истории коммитов фикстура UMT5 отметила регрессию с момента её появления до исправления 28 сентября 2026 года.
- MIC‑фикстуры дают лёгкий и воспроизводимый интеграционный тест, позволяющий раньше ловить регрессии (включая утечки информации во время обучения) для множества моделей и не допускать их долгого пребывания в main.
ПОЧЕМУ ЭТО ВАЖНО
MIC‑фикстуры дают лёгкий и воспроизводимый интеграционный тест, позволяющий раньше ловить регрессии (включая утечки информации во время обучения) для множества моделей и не допускать их долгого пребывания в main.