ИССЛЕДОВАНИЕ · RESEARCH · #3633
Эмпирический аудит выявил побочные эффекты безопасности при превентивном управлении персонами (arXiv:2611.17620v1)
В препринте на arXiv проведён эмпирический аудит «превентивного» управления персонами — добавления векторов персонажей при дообучении с последующим удалением при оценке — для сикофании и галлюцинаций на трёх моделях. Авторы измеряли выраженность черт, когерентность, MMLU и три теста безопасности и показали, что превентивное управление изменяет поведение отказа в зависимости от черты, поэтому оно не является явно нейтральным по безопасности.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В препринте на arXiv проведён эмпирический аудит «превентивного» управления персонами — добавления векторов персонажей при дообучении с последующим удалением при оценке — для сикофании и галлюцинаций на трёх моделях.
- Авторы измеряли выраженность черт, когерентность, MMLU и три теста безопасности и показали, что превентивное управление изменяет поведение отказа в зависимости от черты, поэтому оно не является явно нейтральным по безопасности.
- Поскольку это демонстрирует, что превентивное управление персонами может менять критичные для безопасности поведенческие реакции, методы управления нужно проверять на нескольких тестах безопасности.
ПОЧЕМУ ЭТО ВАЖНО
Поскольку это демонстрирует, что превентивное управление персонами может менять критичные для безопасности поведенческие реакции, методы управления нужно проверять на нескольких тестах безопасности.