Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

ТЕМА · ENTITY #18540

sparse autoencoders

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

2

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Нулевые контрольные модели необходимы, но не достаточны: оценка «пропускных фильтров» для автоматического научного открытия и интерпретируемости

В препринте предлагаются четыре операции (L1–L4) для преобразования физических описаний и три критерия принятия (NAR, PAR, CAR) для оценки выдвинутых автоматическими системами объяснений. Авторы показывают, что простые нулевые отображения (например, сведение всех состояний к нулю) могут проходить многие описательные тесты (closure), но проваливаться в независимых тестах сохранения наблюдаемых величин; комбинированные критерии на контролируемых бенчмарках правильно принимали истинные редукции и отвергали нули, а эксперименты с языковыми/ESM-2 моделями и разреженными автоэнкодерами выявляют, что распространённые метрики (например, linear CKA или enrichment) могут допускать ложные соответствия без независимых последствий.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

MOSAIC: разрежённая мультимодальная латентная атрибуция для визуально-языковых моделей (arXiv:2610.14190v1)

В работе представлен MOSAIC (Multimodal Orthogonalized Sparse Autoencoders for Influence Characterization) — метод, обучающий общую разрежённую латентную пространство для изображений и текста с непрерывными регионами и выровненными фразами, и использующий EK-FAC для распределения влияния обучающих примеров по конкретным фразам и участкам изображения. Авторы оценивают MOSAIC на Qwen и Gemma для задач генерации подписей, анализа рентгеновских снимков грудной клетки и визуальных вопросов, отмечая более локализованные и согласованные признаки и то, что удаление латентов по рангу влияния сильнее меняет выводы, чем удаление по активации или частоте.

7.0