НОВОСТЬ · CODING · #2122
Панель InfoQ: безшумные отказы ИИ и управление агентами
Вебинар InfoQ «AI in Production: What Breaks, What Works, and Who Approves It?» с участием экспертов ThoughtWorks и специалистов по безопасности/конфиденциальности разобрал реальные операционные проблемы агентных систем — семантический и эмбеддинговый дрейф, утечки через RAG, запоминание модели и проблема масштабирования ручного ревью кода. Панелисты рекомендовали воспринимать оценки как постоянную инфраструктуру, сдвигать проверки в фазу harness, применять mutation testing и непрерывный трассинг, назначать агентам отдельные идентичности и уровни доступа, проводить red‑teaming и изолировать секреты.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Вебинар InfoQ «AI in Production: What Breaks, What Works, and Who Approves It?» с участием экспертов ThoughtWorks и специалистов по безопасности/конфиденциальности разобрал реальные операционные проблемы агентных систем — семантический и эмбеддинговый дрейф, утечки через RAG, запоминание модели и проблема масштабирования ручного ревью кода.
- Панелисты рекомендовали воспринимать оценки как постоянную инфраструктуру, сдвигать проверки в фазу harness, применять mutation testing и непрерывный трассинг, назначать агентам отдельные идентичности и уровни доступа, проводить red‑teaming и изолировать секреты.
- Сообщённые практиками виды сбоев и пробелы в управлении демонстрируют, что системы на основе LLM могут незаметно приводить к бизнес‑, комплаенс‑ и угрозам безопасности, если инженерные практики, оценки и контроль доступа не адаптировать под агентные рабочие процессы.
ПОЧЕМУ ЭТО ВАЖНО
Сообщённые практиками виды сбоев и пробелы в управлении демонстрируют, что системы на основе LLM могут незаметно приводить к бизнес‑, комплаенс‑ и угрозам безопасности, если инженерные практики, оценки и контроль доступа не адаптировать под агентные рабочие процессы.