ИССЛЕДОВАНИЕ · RESEARCH · #2878
Бенчмарк SciGame превращает научные тексты в парные реальные и контрфактические среды (arXiv:2610.37919v1)
SciGame — это контролируемый бенчмарк, который преобразует научную литературу в структурированные «карты», каждая из которых даёт пару исходной (Original) и размерно согласованной контрфактической (Counterfactual) среды с общим интерфейсом задачи; включены Историческая коллекция канонических законов и Временная коллекция из статей, вышедших после дат отсечения знаний моделей. Бенчмарк оценивает агентов в задачах идентификации и открытого открытия знаний по протоколам Prior-only, Fixed и Adaptive; эксперименты на пяти передовых моделях показывают, что знакомые априорные знания вредят при изменении соотношений, адаптивный эксперимент помогает сильным моделям, но может навредить слабым при ограниченном бюджете, а хорошие объяснения могут скрывать количественные ошибки, причём восстановление точной символической формы остаётся главным узким местом.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- SciGame — это контролируемый бенчмарк, который преобразует научную литературу в структурированные «карты», каждая из которых даёт пару исходной (Original) и размерно согласованной контрфактической (Counterfactual) среды с общим интерфейсом задачи; включены Историческая коллекция канонических законов и Временная коллекция из статей, вышедших после дат отсечения знаний моделей.
- Бенчмарк оценивает агентов в задачах идентификации и открытого открытия знаний по протоколам Prior-only, Fixed и Adaptive; эксперименты на пяти передовых моделях показывают, что знакомые априорные знания вредят при изменении соотношений, адаптивный эксперимент помогает сильным моделям, но может навредить слабым при ограниченном бюджете, а хорошие объяснения могут скрывать количественные ошибки, причём восстановление точной символической формы остаётся главным узким местом.
- SciGame даёт контролируемую контрфактическую оценку, отделяющую априорные знания от эмпирических данных, и выявляет, как модели не справляются с индукцией точных законов и обобщением при изменении управляющих соотношений.
ПОЧЕМУ ЭТО ВАЖНО
SciGame даёт контролируемую контрфактическую оценку, отделяющую априорные знания от эмпирических данных, и выявляет, как модели не справляются с индукцией точных законов и обобщением при изменении управляющих соотношений.