Релиз-кандидат tokenizers v1: бенчмарки показывают значительное ускорение кодирования/декодирования
В статье приведены бенчмарки и технические изменения в релиз-кандидате tokenizers v1, которые часто дают ускорение в десятки раз по сравнению с v0.23 и сравниваются с другими библиотеками через набор tokbench. Рефактор v1 сохраняет идентификаторы токенов, API, словарь и поддержку моделей, вводя SIMD-оптимизированную предтокенизацию вручную, оптимизации на этапе модели, многопоточность и тестирование на широком наборе платформ при участии, в том числе, IBM и NVIDIA.