РЕГУЛИРОВАНИЕ · MODELS · #1786
Эксперты предупреждают о чрезмерной надежде на механизм «отказа» в ИИ
В статье говорится, что современные большие языковые модели обучают отказываться от вредоносных запросов (подход, популяризированный рекомендацией Anthropic 2021 года о полезности, честности и безопасности), однако механизмы отказа вероятностны, несовершенны и их можно обходить. Полагаться на отказ как на главный барьер безопасности опасно: это допускает злоупотребления при обходе защит и может привести к цензуре, если компании или государства втайне задают правила отказа.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье говорится, что современные большие языковые модели обучают отказываться от вредоносных запросов (подход, популяризированный рекомендацией Anthropic 2021 года о полезности, честности и безопасности), однако механизмы отказа вероятностны, несовершенны и их можно обходить.
- Полагаться на отказ как на главный барьер безопасности опасно: это допускает злоупотребления при обходе защит и может привести к цензуре, если компании или государства втайне задают правила отказа.
- Это важно, поскольку отказ — ключевой рабочий механизм безопасности у развернутых моделей, но его ненадёжность создает риски безопасности (злоупотребления/обход) и риски управления (скрытая цензура и концентрация контроля).
ПОЧЕМУ ЭТО ВАЖНО
Это важно, поскольку отказ — ключевой рабочий механизм безопасности у развернутых моделей, но его ненадёжность создает риски безопасности (злоупотребления/обход) и риски управления (скрытая цензура и концентрация контроля).