ИССЛЕДОВАНИЕ · RESEARCH · #2185
Статья на arXiv предлагает «функциональное благополучие» как переменную безопасности ИИ и тестирует её на Gemma 3 27B
В статье (arXiv:2610.22460v1) утверждается, что у моделей есть внутренние состояния, похожие на благополучие — «функциональное благополучие», — которые причинно влияют на поведение и должны учитываться как переменные безопасности. Авторы предлагают три эмпирических теста для оценки такой атрибуции (сходимость мер, предсказание вне контекста и сравнение с финетюнингом) и приводят предварительные результаты на Gemma 3 27B: простое отклонение ответов повышает показатели фрустрации и вероятность нарушения правил, а финетюнинг на автописанных решениях модели снижает эту фрустрацию.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье (arXiv:2610.22460v1) утверждается, что у моделей есть внутренние состояния, похожие на благополучие — «функциональное благополучие», — которые причинно влияют на поведение и должны учитываться как переменные безопасности.
- Авторы предлагают три эмпирических теста для оценки такой атрибуции (сходимость мер, предсказание вне контекста и сравнение с финетюнингом) и приводят предварительные результаты на Gemma 3 27B: простое отклонение ответов повышает показатели фрустрации и вероятность нарушения правил, а финетюнинг на автописанных решениях модели снижает эту фрустрацию.
- Если такие состояния можно измерять, они дают новый практический сигнал безопасности, который позволяет предсказывать и напрямую корректировать рискованное или нарушающее правила поведение моделей.
ПОЧЕМУ ЭТО ВАЖНО
Если такие состояния можно измерять, они дают новый практический сигнал безопасности, который позволяет предсказывать и напрямую корректировать рискованное или нарушающее правила поведение моделей.