Бенчмарк SciGame превращает научные тексты в парные реальные и контрфактические среды (arXiv:2610.37919v1)
SciGame — это контролируемый бенчмарк, который преобразует научную литературу в структурированные «карты», каждая из которых даёт пару исходной (Original) и размерно согласованной контрфактической (Counterfactual) среды с общим интерфейсом задачи; включены Историческая коллекция канонических законов и Временная коллекция из статей, вышедших после дат отсечения знаний моделей. Бенчмарк оценивает агентов в задачах идентификации и открытого открытия знаний по протоколам Prior-only, Fixed и Adaptive; эксперименты на пяти передовых моделях показывают, что знакомые априорные знания вредят при изменении соотношений, адаптивный эксперимент помогает сильным моделям, но может навредить слабым при ограниченном бюджете, а хорошие объяснения могут скрывать количественные ошибки, причём восстановление точной символической формы остаётся главным узким местом.