ИССЛЕДОВАНИЕ · RESEARCH · #1403
arXiv:2610.00331v1 — Математический перенос в LLM больше зависит от способа рассуждения, чем от темы
Новый препринт на arXiv описывает эксперименты дообучения, сравнивающие перенос от источников, совпадающих по способу решения (same-approach, SA), и от источников, совпадающих по теме (same-topic, ST). В двух перекрестных 2×2 дизайнах (2 000 и 800 задач), на пяти базовых моделях и при трёх семенах обучения SA превосходил ST во всех 40 агрегированных сравнениях моделей и целей, с преимуществом примерно 8–16 процентных пунктов (средние 10.8 и 14.3); при этом ST-источники были ближе по эмбеддингам и лексике, то есть выигрыш SA идёт вразрез с поверхностной похожестью утверждений.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Новый препринт на arXiv описывает эксперименты дообучения, сравнивающие перенос от источников, совпадающих по способу решения (same-approach, SA), и от источников, совпадающих по теме (same-topic, ST).
- В двух перекрестных 2×2 дизайнах (2 000 и 800 задач), на пяти базовых моделях и при трёх семенах обучения SA превосходил ST во всех 40 агрегированных сравнениях моделей и целей, с преимуществом примерно 8–16 процентных пунктов (средние 10.8 и 14.3); при этом ST-источники были ближе по эмбеддингам и лексике, то есть выигрыш SA идёт вразрез с поверхностной похожестью утверждений.
- Показывает, что для кросс-тематического математического переноса дообучение данными, подобранными по способу решения, эффективнее подбора по теме, что важно при выборе данных для дообучения LLM.
ПОЧЕМУ ЭТО ВАЖНО
Показывает, что для кросс-тематического математического переноса дообучение данными, подобранными по способу решения, эффективнее подбора по теме, что важно при выборе данных для дообучения LLM.