ИССЛЕДОВАНИЕ · RESEARCH · #2493
Claude от Anthropic автоматически сгенерировал формальные доказательства для кода и обнаружил сотни ошибок
Anthropic совместно с партнёром Theorem и командой Frontier Red Team использовали модель Claude для перевода тестов на аварийные ситуации в формальные математические доказательства для 123 библиотек из OSS-Fuzz, сгенерировав около 180 миллионов строк доказательственного кода за несколько недель и обнаружив сотни ошибок; доказательства проверяет независимый инструмент Rocq, но метод ограничен строгими условиями и высокой стоимостью вычислений. Anthropic называет процесс в основном автономным и ожидает, что формальная верификация с участием ИИ станет такой же рутинной, как обычное тестирование, а Theorem планирует верифицировать критичные библиотеки вроде glibc, OpenSSL и cURL.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Anthropic совместно с партнёром Theorem и командой Frontier Red Team использовали модель Claude для перевода тестов на аварийные ситуации в формальные математические доказательства для 123 библиотек из OSS-Fuzz, сгенерировав около 180 миллионов строк доказательственного кода за несколько недель и обнаружив сотни ошибок; доказательства проверяет независимый инструмент Rocq, но метод ограничен строгими условиями и высокой стоимостью вычислений.
- Anthropic называет процесс в основном автономным и ожидает, что формальная верификация с участием ИИ станет такой же рутинной, как обычное тестирование, а Theorem планирует верифицировать критичные библиотеки вроде glibc, OpenSSL и cURL.
- Если ИИ сможет регулярно генерировать и проверять формальные доказательства для ПО, это сделает высоконадёжную верификацию гораздо более практичной и изменит подход к доверию и развёртыванию кода, написанного ИИ.
ПОЧЕМУ ЭТО ВАЖНО
Если ИИ сможет регулярно генерировать и проверять формальные доказательства для ПО, это сделает высоконадёжную верификацию гораздо более практичной и изменит подход к доверию и развёртыванию кода, написанного ИИ.