Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

ТЕМА · ENTITY #29873

vLLM Batch-Invariant

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

1

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

BlockLock (arXiv:2611.06977v1): воспроизводимый вывод LLM через фиксированную геометрию батча

В работе предложен BlockLock — метод, фиксирующий геометрию батча для защищённого запроса и сохраняющий побитовую воспроизводимость. Описаны два режима (BlockLock-Rows и BlockLock-Pack); на пяти плотных моделях и трёх однографических конфигурациях авторы фиксируют сохранение целевых последовательностей и Top20-логитов; BlockLock-Rows уменьшает задержку на 53.5–55.0% и увеличивает пропускную способность на 115.2–122.2% по сравнению с vLLM Batch-Invariant, при этом не требуя нестандартных ядер и сохраняя общий prefill в соответствии с заявленным контрактом для развертывания.

7.0