Композиционное рассуждение в LMs: асимметрия от разложенных к составным задачам после RL-посттренировки
В работе на arXiv предложена модель зависимостей для трёх уровней композиционности и изучено, как RL-посттренировка влияет на композиционную генерализацию языковых моделей. На детерминированных задачах со структурами данных исследователи обнаружили устойчивую асимметрию: обучение на разложенных навыках слабо переносится на составные задачи, тогда как обучение на составных задачах лучше переносится назад; приводится теоретическое объяснение, тесты на длину и структурные сдвиги и пилотное исследование с вызовом инструментов, показывающее предварительные признаки этой асимметрии в практических бенчмарках.