VocabX: адаптация токенизатора сократила стоимость вывода на 77% для Qwen3-4B (проверка эссе)
Исследователи/инженеры применили метод VocabX для перестройки токенизатора в системе автоматической проверки эссе на португальском, основанной на Qwen3-4B, сохранив ту же базовую модель, данные и рецепт обучения; они измерили сокращение стоимости вывода на 77% за счёт оптимизации словаря исходя из стоимости генерации токена, а не частоты токенов. Эти данные взяты из статьи, находящейся на рецензировании, и могут измениться до публикации.