Цена границ токенов: сертификаты сжатия и предсказание (arXiv:2609.35869v1)
В работе предложен метод количественной оценки затрат сжатия из‑за предтокенизационных границ: нижние оценки числа токенов строятся через неотрицательные цены на токены, кратчайшие пути и LP‑релаксацию с проверкой целочисленным контролёром. По данным на English Wikipedia и отдельных английских/китайских корпусах авторы сообщают, что границы увеличивают оптимальное число токенов на 28.3–36.8%, BPE находится на 2.1% выше ограниченного нижнего предела (10.9% — выше неограниченного), неограниченная подгонка зачастую даёт лучшее среднее число бит на байт на отложенных данных по языкам, а введённые «boundary licences» позволяют восстановить большую часть снижения числа токенов при разрешении небольшой доли словарного запаса пересекать границы.