ИССЛЕДОВАНИЕ · RESEARCH · #3207
BlockLock (arXiv:2611.06977v1): воспроизводимый вывод LLM через фиксированную геометрию батча
В работе предложен BlockLock — метод, фиксирующий геометрию батча для защищённого запроса и сохраняющий побитовую воспроизводимость. Описаны два режима (BlockLock-Rows и BlockLock-Pack); на пяти плотных моделях и трёх однографических конфигурациях авторы фиксируют сохранение целевых последовательностей и Top20-логитов; BlockLock-Rows уменьшает задержку на 53.5–55.0% и увеличивает пропускную способность на 115.2–122.2% по сравнению с vLLM Batch-Invariant, при этом не требуя нестандартных ядер и сохраняя общий prefill в соответствии с заявленным контрактом для развертывания.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе предложен BlockLock — метод, фиксирующий геометрию батча для защищённого запроса и сохраняющий побитовую воспроизводимость.
- Описаны два режима (BlockLock-Rows и BlockLock-Pack); на пяти плотных моделях и трёх однографических конфигурациях авторы фиксируют сохранение целевых последовательностей и Top20-логитов; BlockLock-Rows уменьшает задержку на 53.5–55.0% и увеличивает пропускную способность на 115.2–122.2% по сравнению с vLLM Batch-Invariant, при этом не требуя нестандартных ядер и сохраняя общий prefill в соответствии с заявленным контрактом для развертывания.
- BlockLock даёт прагматичный способ добиться побитовой воспроизводимости для отдельных запросов с существенно меньшей задержкой и большей пропускной способностью, чем подходы с инвариантностью батча, и без разработки нестандартных ядер.
ПОЧЕМУ ЭТО ВАЖНО
BlockLock даёт прагматичный способ добиться побитовой воспроизводимости для отдельных запросов с существенно меньшей задержкой и большей пропускной способностью, чем подходы с инвариантностью батча, и без разработки нестандартных ядер.