ИССЛЕДОВАНИЕ · RESEARCH · #2087
LEV (arXiv:2610.20951v1): зацикленные модели решений с перемённой глубиной мышления и повышенной точностью
В работе представлен LEV — архитектура моделей решений, которая повторно прогоняет слои в цикле и считывает варианты ответа после каждого шага, так что один чекпоинт может работать на разной глубине; все шаги цикла обучаются совместно, а небольшой «стоппер» задаёт глубину для каждого запроса. Авторы сообщают рост точности с увеличением глубины на трёх зацикленных бэбонах (например, 2.6B LEV: 63.2% при глубине 1 → 76.2% при глубине 4 на JevBench), режим по требованию экономит ≈15–24% вычислений при потере точности <1 п.п., а модели 1.4B/3B превосходят плотные модели и каскады на 5.4–8.8 п.п. при задержках ниже 50 мс.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе представлен LEV — архитектура моделей решений, которая повторно прогоняет слои в цикле и считывает варианты ответа после каждого шага, так что один чекпоинт может работать на разной глубине; все шаги цикла обучаются совместно, а небольшой «стоппер» задаёт глубину для каждого запроса.
- Авторы сообщают рост точности с увеличением глубины на трёх зацикленных бэбонах (например, 2.6B LEV: 63.2% при глубине 1 → 76.2% при глубине 4 на JevBench), режим по требованию экономит ≈15–24% вычислений при потере точности <1 п.п., а модели 1.4B/3B превосходят плотные модели и каскады на 5.4–8.8 п.п.
- LEV даёт практический способ распределять вычисления на запросах по их сложности для неавторегрессионных моделей решений, повышая точность на сложных примерах и позволяя управлять затратами/задержкой без дополнительных чекпоинтов.
ПОЧЕМУ ЭТО ВАЖНО
LEV даёт практический способ распределять вычисления на запросах по их сложности для неавторегрессионных моделей решений, повышая точность на сложных примерах и позволяя управлять затратами/задержкой без дополнительных чекпоинтов.