Статья (arXiv:2610.38100v1) утверждает, что тесты, сгенерированные CLadder, содержат поверхностные паттерны, завышающие заявления о причинно-следственном мышлении LLM
Новая статья на arXiv (2610.38100v1) анализирует генератор CLadder, используемый для оценки формального причинно-следственного вывода в LLM, и обнаруживает, что CLadder внедряет сильные поверхностные паттерны. Исследование показывает, что простые модели (например, случайные леса) хорошо справляются после обучения на сгенерированных примерах, что производительность коммерческих LLM на наборах CLadder нестойка, и что удаление текста, необходимого для формального вывода, часто не снижает точность, что указывает на использование моделями артефактов генератора, а не настоящего причинного рассуждения.