ИССЛЕДОВАНИЕ · RESEARCH · #1857
MagicBeanStalk (arXiv:2610.12659v1): рекурсивный синтез данных против «ловушки нулевого преимущества» в RLVR
В статье (arXiv:2610.12659v1) выявляется «ловушка нулевого преимущества» в RLVR: примерно 88% задач большого открытого математического корпуса либо решаются, либо проваливаются в каждом прогоне при фиксированной политике и бюджете, а простая фильтрация отбрасывает трудные информативные задачи. Авторы предлагают MagicBeanStalk — метод верхне-низового разложения и рекурсивного синтеза данных, который расширяет начальные задачи в калиброванные семейства; при непрерывном обучении на этих задачах gpt-oss-120b вырос с 61.2 до 69.8 (+8.6), DeepSeek v4Flash — с 72.4 до 77.9 (+5.4) на бюджете 16K токенов, а в финансах синтезировано 14K задач из 340 решений с приростами по SecQue и FinanceBench на 6.9 и 2.4 пункта соответственно.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье (arXiv:2610.12659v1) выявляется «ловушка нулевого преимущества» в RLVR: примерно 88% задач большого открытого математического корпуса либо решаются, либо проваливаются в каждом прогоне при фиксированной политике и бюджете, а простая фильтрация отбрасывает трудные информативные задачи.
- Авторы предлагают MagicBeanStalk — метод верхне-низового разложения и рекурсивного синтеза данных, который расширяет начальные задачи в калиброванные семейства; при непрерывном обучении на этих задачах gpt-oss-120b вырос с 61.2 до 69.8 (+8.6), DeepSeek v4Flash — с 72.4 до 77.9 (+5.4) на бюджете 16K токенов, а в финансах синтезировано 14K задач из 340 решений с приростами по SecQue и FinanceBench на 6.9 и 2.4 пункта соответственно.
- Калиброванные рекурсивно синтезированные задачи дают более сильный, учитывающий бюджет сигнал обучения для RLVR, чем простое масштабирование или фильтрация корпуса, и обеспечивают существенные приросты на математических и финансовых бенчмарках.
ПОЧЕМУ ЭТО ВАЖНО
Калиброванные рекурсивно синтезированные задачи дают более сильный, учитывающий бюджет сигнал обучения для RLVR, чем простое масштабирование или фильтрация корпуса, и обеспечивают существенные приросты на математических и финансовых бенчмарках.