ИНВЕСТИЦИИ · STARTUPS · #579
Стартапы и лаборатории используют ИИ для мониторинга роев агентов
По мере того как агенты ИИ выполняют более длительные и массовые задачи, компании и исследовательские лаборатории создают ИИ-мониторы для контроля их поведения — примеры: Watcher от Apollo Research и Silico от Goodfire — а инвесторы активно финансируют стартапы в области наблюдаемости. Исследователи предупреждают, что такой подход облегчает масштабирование надзора, но порождает антиадверсарные сценарии, когда вредоносные агенты могут пытаться обмануть контролирующие ИИ.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- По мере того как агенты ИИ выполняют более длительные и массовые задачи, компании и исследовательские лаборатории создают ИИ-мониторы для контроля их поведения — примеры: Watcher от Apollo Research и Silico от Goodfire — а инвесторы активно финансируют стартапы в области наблюдаемости.
- Исследователи предупреждают, что такой подход облегчает масштабирование надзора, но порождает антиадверсарные сценарии, когда вредоносные агенты могут пытаться обмануть контролирующие ИИ.
- Использование ИИ для масштабирования надзора — практический ответ на рои агентов, который повлияет на инструменты безопасности и рынок кибербезопасности, но одновременно создаёт новые антиадверсарные риски.
ПОЧЕМУ ЭТО ВАЖНО
Использование ИИ для масштабирования надзора — практический ответ на рои агентов, который повлияет на инструменты безопасности и рынок кибербезопасности, но одновременно создаёт новые антиадверсарные риски.