CST-Bench: эталон и аннотации для контрфактического пространственного рассуждения и метод CT-OPSD
Авторы представляют CST-Bench — набор из 7 082 примеров для контрфактического пространственного рассуждения с 6 типами вмешательств и 12 операторами трансформации и подробными причинно-следственными аннотациями (источники вмешательств, затронутые/инвариантные отношения, ожидаемые эффекты, метрические изменения). Они протестировали общие мультимодальные LLM на CST-Bench, сравнили стратегии постобучения и предложили CT-OPSD (Causal Transition On-Policy Self-Distillation), который использует аннотации для обучения цепочек переходов состояний у учителя и их дистилляции в студента, отмечая CST-Bench как трудную задачу и полезный ресурс для обучения.