ИССЛЕДОВАНИЕ · RESEARCH · #2187
Нулевые контрольные модели необходимы, но не достаточны: оценка «пропускных фильтров» для автоматического научного открытия и интерпретируемости
В препринте предлагаются четыре операции (L1–L4) для преобразования физических описаний и три критерия принятия (NAR, PAR, CAR) для оценки выдвинутых автоматическими системами объяснений. Авторы показывают, что простые нулевые отображения (например, сведение всех состояний к нулю) могут проходить многие описательные тесты (closure), но проваливаться в независимых тестах сохранения наблюдаемых величин; комбинированные критерии на контролируемых бенчмарках правильно принимали истинные редукции и отвергали нули, а эксперименты с языковыми/ESM-2 моделями и разреженными автоэнкодерами выявляют, что распространённые метрики (например, linear CKA или enrichment) могут допускать ложные соответствия без независимых последствий.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В препринте предлагаются четыре операции (L1–L4) для преобразования физических описаний и три критерия принятия (NAR, PAR, CAR) для оценки выдвинутых автоматическими системами объяснений.
- Авторы показывают, что простые нулевые отображения (например, сведение всех состояний к нулю) могут проходить многие описательные тесты (closure), но проваливаться в независимых тестах сохранения наблюдаемых величин; комбинированные критерии на контролируемых бенчмарках правильно принимали истинные редукции и отвергали нули, а эксперименты с языковыми/ESM-2 моделями и разреженными автоэнкодерами выявляют, что распространённые метрики (например, linear CKA или enrichment) могут допускать ложные соответствия без независимых последствий.
- Работа демонстрирует, что обычные тесты интерпретируемости и автоматического открытия могут принимать научно пустые или бесследные соответствия, поэтому надёжное автоматическое открытие требует многокритериальной оценки с проверкой независимых последствий.
ПОЧЕМУ ЭТО ВАЖНО
Работа демонстрирует, что обычные тесты интерпретируемости и автоматического открытия могут принимать научно пустые или бесследные соответствия, поэтому надёжное автоматическое открытие требует многокритериальной оценки с проверкой независимых последствий.