Tech Meridian
← К СУЩНОСТЯМ
КОМПАНИЯ · ENTITY #15600
Хронология связанных событий, источники и контекст из новостной базы.
Ник Каммарата из стартапа Goodfire опубликовал 26‑тысячесловный блог‑пост, в котором утверждает, что крупные языковые модели могут быть значительно более интерпретируемы — и, следовательно, проще для мониторинга и контроля — чем многие считают. Пост вызвал мощную реакцию в сообществе: от восторга возможным прорывом в механистической интерпретируемости до скепсиса, что это лишь догадка.
В эссе «Neural Networks Are Already Clean» исследователь Goodfire Ник Каммарата переосмысливает примеры полиcемантических нейронов и утверждает, что большинство активаций нейронов можно понять с помощью масштабного автоматизированного анализа: в Qwen3-32B около 90% «полюсов» нейронов имеют одну основную функцию, 2–4% остаются необъяснёнными. Работа вызвала восторг у некоторых (включая постера OpenAI Roon) и призывы к осторожности от других (включая Neel Nanda); Goodfire сообщает о похожих наблюдениях в более крупных моделях, но требуется независимая проверка.
Goodfire представила более дешёвые «изнутри» мониторы, считывающие внутренние активации модели (зондов) в реальном времени; они доступны клиентам Baseten. В тестах на Kimi K3 зонды обнаружили 94% вредоносных сессий, 8,7% безобидных сессий направили на повторную проверку, а мониторинг ~1 500 сессий обошёлся примерно в $51 против $233–$10 000 для альтернативных систем. Ранее Base Labs Baseten объявила о партнёрстве по безопасности с Goodfire и Hugging Face, а Google DeepMind тоже сообщал об аналогичных зонда-детекторах в Gemini.
Allow Google Analytics to measure visits? It stays off until you choose. You can change your choice at any time.