ИССЛЕДОВАНИЕ · RESEARCH · #2974
CIRCE предсказывает сложность задач для LLM по структуре ограничений
CIRCE — метод, который с помощью дешёвого LLM строит промежуточное представление ограничений (Constraint Intermediate Representation), детерминированно компилируемое в граф ограничений, и затем использует GNN-энкодер для предсказания способности LLM решить задачу. На семи наборaх задач по рассуждению (включая SAT, логику и математику) и четырёх LLM случайно инициализированный GNN улучшил отрицательное логарифмическое правдоподобие (0.465 → 0.423) и AUROC (0.691 → 0.727) по сравнению с сильнейшими базовыми методами.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- CIRCE — метод, который с помощью дешёвого LLM строит промежуточное представление ограничений (Constraint Intermediate Representation), детерминированно компилируемое в граф ограничений, и затем использует GNN-энкодер для предсказания способности LLM решить задачу.
- На семи наборaх задач по рассуждению (включая SAT, логику и математику) и четырёх LLM случайно инициализированный GNN улучшил отрицательное логарифмическое правдоподобие (0.465 → 0.423) и AUROC (0.691 → 0.727) по сравнению с сильнейшими базовыми методами.
- Предварительная оценка сложности по структуре ограничений может улучшить маршрутизацию моделей, распределение вычислений во время работы и указать на необходимость дополнительных инструментов.
ПОЧЕМУ ЭТО ВАЖНО
Предварительная оценка сложности по структуре ограничений может улучшить маршрутизацию моделей, распределение вычислений во время работы и указать на необходимость дополнительных инструментов.