ИССЛЕДОВАНИЕ · RESEARCH · #830
Статья на arXiv предлагает таксономию сбоев и жизненный цикл TADL для надёжных агентных ИИ
Новая статья на arXiv рассматривает риски безопасности и эксплуатации для агентных ИИ на базе больших языковых моделей, объединяет режимы сбоев (например, косвенная инъекция подсказок, триггеры-бэкдоры, неправильная генерализация целей, заражение памяти, утечка между сессиями) в единую таксономию и обзирает подходы смягчения. Авторы предлагают шестифазный жизненный цикл Trustworthy Agent Development Lifecycle (TADL), сопоставляющий доверительные активности и доказательства на этапах спецификации, проектирования, обучения, оценки, развёртывания и мониторинга, при этом отмечая отсутствие эмпирической валидации TADL и дефицит бенчмарков.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Новая статья на arXiv рассматривает риски безопасности и эксплуатации для агентных ИИ на базе больших языковых моделей, объединяет режимы сбоев (например, косвенная инъекция подсказок, триггеры-бэкдоры, неправильная генерализация целей, заражение памяти, утечка между сессиями) в единую таксономию и обзирает подходы смягчения.
- Авторы предлагают шестифазный жизненный цикл Trustworthy Agent Development Lifecycle (TADL), сопоставляющий доверительные активности и доказательства на этапах спецификации, проектирования, обучения, оценки, развёртывания и мониторинга, при этом отмечая отсутствие эмпирической валидации TADL и дефицит бенчмарков.
- Предоставляет структурированную таксономию и шестифазный жизненный цикл (TADL), которые могут направлять разработку, оценку и смягчение рисков у агентных систем на базе LLM, одновременно выявляя области без достаточных эмпирических данных.
ПОЧЕМУ ЭТО ВАЖНО
Предоставляет структурированную таксономию и шестифазный жизненный цикл (TADL), которые могут направлять разработку, оценку и смягчение рисков у агентных систем на базе LLM, одновременно выявляя области без достаточных эмпирических данных.