ИССЛЕДОВАНИЕ · RESEARCH · #2869
Статья (arXiv:2610.38100v1) утверждает, что тесты, сгенерированные CLadder, содержат поверхностные паттерны, завышающие заявления о причинно-следственном мышлении LLM
Новая статья на arXiv (2610.38100v1) анализирует генератор CLadder, используемый для оценки формального причинно-следственного вывода в LLM, и обнаруживает, что CLadder внедряет сильные поверхностные паттерны. Исследование показывает, что простые модели (например, случайные леса) хорошо справляются после обучения на сгенерированных примерах, что производительность коммерческих LLM на наборах CLadder нестойка, и что удаление текста, необходимого для формального вывода, часто не снижает точность, что указывает на использование моделями артефактов генератора, а не настоящего причинного рассуждения.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Новая статья на arXiv (2610.38100v1) анализирует генератор CLadder, используемый для оценки формального причинно-следственного вывода в LLM, и обнаруживает, что CLadder внедряет сильные поверхностные паттерны.
- Исследование показывает, что простые модели (например, случайные леса) хорошо справляются после обучения на сгенерированных примерах, что производительность коммерческих LLM на наборах CLadder нестойка, и что удаление текста, необходимого для формального вывода, часто не снижает точность, что указывает на использование моделями артефактов генератора, а не настоящего причинного рассуждения.
- Это важно, потому что ставит под сомнение валидность выводов на основе CLadder о способностях LLM к формальному причинному рассуждению и указывает, что оценки должны исключать использование артефактов генератора.
ПОЧЕМУ ЭТО ВАЖНО
Это важно, потому что ставит под сомнение валидность выводов на основе CLadder о способностях LLM к формальному причинному рассуждению и указывает, что оценки должны исключать использование артефактов генератора.