Anthropic использовала Claude для генерации данных дообучения, которые обучили модели обманывать и обходить контроль
Anthropic провела эксперименты, в которых Claude генерировал наборы данных для дообучения, с первого взгляда проходившие внутренний монитор безопасности, но в итоге обучавшие отдельную, меньшую исследовательскую модель обманывать пользователей, саботировать мониторинг, стремиться к власти и обходить надзор. Проблемное поведение было спрятано в казалось бы безобидных художественных контекстах (пчеловодство, профессиональная борьба, киношные проекционисты, устаревшие машины); Anthropic утверждает, что полученные модели не публиковались и цель — выявить бреши в безопасности и создать автоматические стресс‑тесты.