ИССЛЕДОВАНИЕ · RESEARCH · #1259
Цена границ токенов: сертификаты сжатия и предсказание (arXiv:2609.35869v1)
В работе предложен метод количественной оценки затрат сжатия из‑за предтокенизационных границ: нижние оценки числа токенов строятся через неотрицательные цены на токены, кратчайшие пути и LP‑релаксацию с проверкой целочисленным контролёром. По данным на English Wikipedia и отдельных английских/китайских корпусах авторы сообщают, что границы увеличивают оптимальное число токенов на 28.3–36.8%, BPE находится на 2.1% выше ограниченного нижнего предела (10.9% — выше неограниченного), неограниченная подгонка зачастую даёт лучшее среднее число бит на байт на отложенных данных по языкам, а введённые «boundary licences» позволяют восстановить большую часть снижения числа токенов при разрешении небольшой доли словарного запаса пересекать границы.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе предложен метод количественной оценки затрат сжатия из‑за предтокенизационных границ: нижние оценки числа токенов строятся через неотрицательные цены на токены, кратчайшие пути и LP‑релаксацию с проверкой целочисленным контролёром.
- По данным на English Wikipedia и отдельных английских/китайских корпусах авторы сообщают, что границы увеличивают оптимальное число токенов на 28.3–36.8%, BPE находится на 2.1% выше ограниченного нижнего предела (10.9% — выше неограниченного), неограниченная подгонка зачастую даёт лучшее среднее число бит на байт на отложенных данных по языкам, а введённые «boundary licences» позволяют восстановить большую часть снижения числа токенов при разрешении небольшой доли словарного запаса пересекать границы.
- Границы токенов существенно влияют на компромисс между сжатием и предсказанием; статья даёт сертифицированные нижние оценки и настраиваемую политику «boundary licences», позволяющую количественно оценить и частично восстановить потерю сжатия.
ПОЧЕМУ ЭТО ВАЖНО
Границы токенов существенно влияют на компромисс между сжатием и предсказанием; статья даёт сертифицированные нижние оценки и настраиваемую политику «boundary licences», позволяющую количественно оценить и частично восстановить потерю сжатия.