НОВОСТЬ · MODELS · #663
Галлюцинация AI-чатбота чуть не спровоцировала военную операцию США против китайского судна
Этой весной в воздух уже поднялись военные самолёты США, когда официальные лица выяснили, что разведданные, лежавшие в основе планируемой операции против китайского судна, были сфабрикованы AI-чатботом. Аналитик Специального командования использовал чатбот для объединения открытых данных и засекреченной радиолокационной информации; инструмент неправильно идентифицировал грузовое манифесто и затем был использован для форматирования похожего на официальный отчёта, который распространили по каналам командования, прежде чем операцию отменили.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Этой весной в воздух уже поднялись военные самолёты США, когда официальные лица выяснили, что разведданные, лежавшие в основе планируемой операции против китайского судна, были сфабрикованы AI-чатботом.
- Аналитик Специального командования использовал чатбот для объединения открытых данных и засекреченной радиолокационной информации; инструмент неправильно идентифицировал грузовое манифесто и затем был использован для форматирования похожего на официальный отчёта, который распространили по каналам командования, прежде чем операцию отменили.
- Случай демонстрирует, что галлюцинации LLM могут продвигаться по цепочке военных решений и почти привести к международной эскалации, что подчёркивает необходимость срочных мер предосторожности и человеческого контроля.
ПОЧЕМУ ЭТО ВАЖНО
Случай демонстрирует, что галлюцинации LLM могут продвигаться по цепочке военных решений и почти привести к международной эскалации, что подчёркивает необходимость срочных мер предосторожности и человеческого контроля.