SAT-RL: обучение больших языковых моделей взаимодействию с символьными решателями через reinforcement learning
В статье представлен SAT-RL — фреймворк на основе RL, обучающий большие языковые модели многошаговому взаимодействию с символьными решателями выполнимости (например, Z3). Метод использует синтетические данные с проверяемыми решениями, супервизированную подготовку на трассах с вызовами решателя и вознаграждения, учитывающие инструменты; авторы сообщают о заметных улучшениях на задачах логического вывода как в домене, так и вне него; код опубликован в указанном репозитории GitHub.