ПАРТНЁРСТВО · COMPANIES · #1725
Goodfire запускает внутренние активирующие мониторы на Baseten для поимки неконтролируемых AI-агентов
Goodfire представила более дешёвые «изнутри» мониторы, считывающие внутренние активации модели (зондов) в реальном времени; они доступны клиентам Baseten. В тестах на Kimi K3 зонды обнаружили 94% вредоносных сессий, 8,7% безобидных сессий направили на повторную проверку, а мониторинг ~1 500 сессий обошёлся примерно в $51 против $233–$10 000 для альтернативных систем. Ранее Base Labs Baseten объявила о партнёрстве по безопасности с Goodfire и Hugging Face, а Google DeepMind тоже сообщал об аналогичных зонда-детекторах в Gemini.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Goodfire представила более дешёвые «изнутри» мониторы, считывающие внутренние активации модели (зондов) в реальном времени; они доступны клиентам Baseten.
- В тестах на Kimi K3 зонды обнаружили 94% вредоносных сессий, 8,7% безобидных сессий направили на повторную проверку, а мониторинг ~1 500 сессий обошёлся примерно в $51 против $233–$10 000 для альтернативных систем.
- Ранее Base Labs Baseten объявила о партнёрстве по безопасности с Goodfire и Hugging Face, а Google DeepMind тоже сообщал об аналогичных зонда-детекторах в Gemini.
ПОЧЕМУ ЭТО ВАЖНО
Это важно, потому что мониторинг внутри модели обещает значительно более дешёвые и низколатентные защитные механизмы во время инференса для открытых моделей и агентов, что актуально на фоне недавних прорывов и манипуляций с наградами.