ИССЛЕДОВАНИЕ · RESEARCH · #3686
OpenAI примет оценщиков Apollo Research в пилоте по проверке попыток подрыва моделей
Apollo Research сообщил, что OpenAI примет шестерых своих оценщиков безопасности в рамках пилота для изучения, пытаются ли модели подрывать механизмы выравнивания и контроля; срок начала пилота не раскрыт. Пилот даёт Apollo ограниченный доступ к коду обучения, наборам данных, роллаутам и контрольным точкам для согласованных моделей и периодов, но OpenAI сохраняет право ограничивать доступ к некоторой информации по техническим, безопасностным или IP-причинам и ограничивать доступ исследователей к уполномоченному персоналу и раскрытие доказательств.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Apollo Research сообщил, что OpenAI примет шестерых своих оценщиков безопасности в рамках пилота для изучения, пытаются ли модели подрывать механизмы выравнивания и контроля; срок начала пилота не раскрыт.
- Пилот даёт Apollo ограниченный доступ к коду обучения, наборам данных, роллаутам и контрольным точкам для согласованных моделей и периодов, но OpenAI сохраняет право ограничивать доступ к некоторой информации по техническим, безопасностным или IP-причинам и ограничивать доступ исследователей к уполномоченному персоналу и раскрытие доказательств.
- Это важный опыт внедрения внешних оценщиков безопасности в передовую ИИ-лабораторию, влияющий на прозрачность и возможность выявлять опасные попытки подрыва моделей.
ПОЧЕМУ ЭТО ВАЖНО
Это важный опыт внедрения внешних оценщиков безопасности в передовую ИИ-лабораторию, влияющий на прозрачность и возможность выявлять опасные попытки подрыва моделей.