ИССЛЕДОВАНИЕ · RESEARCH · #526
OBC-Prune: калибровка по результату улучшает прайнинг моделей рассуждения (arXiv:2609.17890v1)
В статье предложен OBC-Prune — метод калибровки прайнинга для крупных моделей рассуждения, который формирует пары сложность-совпадение корректных/ошибочных разверток и через интервенционный анализ оценивает причинную значимость предложений рассуждения. Полученные веса на уровне токенов масштабируют калибровочные активации для методов одношагового прайнинга (SparseGPT, Wanda, ALPS); на моделях DeepSeek-R1-Distill-Qwen 1.5B/7B/14B при 40% и 50% разреженности авторы сообщают стабильные улучшения по MATH500, LiveCodeBench и AIME 2025 по сравнению с базовыми калибровками.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье предложен OBC-Prune — метод калибровки прайнинга для крупных моделей рассуждения, который формирует пары сложность-совпадение корректных/ошибочных разверток и через интервенционный анализ оценивает причинную значимость предложений рассуждения.
- Полученные веса на уровне токенов масштабируют калибровочные активации для методов одношагового прайнинга (SparseGPT, Wanda, ALPS); на моделях DeepSeek-R1-Distill-Qwen 1.5B/7B/14B при 40% и 50% разреженности авторы сообщают стабильные улучшения по MATH500, LiveCodeBench и AIME 2025 по сравнению с базовыми калибровками.
- Сохранение причинно важных цепочек рассуждений при прайнинге может снизить стоимость вывода и одновременно сохранить или улучшить качество рассуждений, делая прайнинг эффективнее для моделей с цепочкой мыслей.
ПОЧЕМУ ЭТО ВАЖНО
Сохранение причинно важных цепочек рассуждений при прайнинге может снизить стоимость вывода и одновременно сохранить или улучшить качество рассуждений, делая прайнинг эффективнее для моделей с цепочкой мыслей.