CIRCE предсказывает сложность задач для LLM по структуре ограничений
CIRCE — метод, который с помощью дешёвого LLM строит промежуточное представление ограничений (Constraint Intermediate Representation), детерминированно компилируемое в граф ограничений, и затем использует GNN-энкодер для предсказания способности LLM решить задачу. На семи наборaх задач по рассуждению (включая SAT, логику и математику) и четырёх LLM случайно инициализированный GNN улучшил отрицательное логарифмическое правдоподобие (0.465 → 0.423) и AUROC (0.691 → 0.727) по сравнению с сильнейшими базовыми методами.