ИССЛЕДОВАНИЕ · RESEARCH · #2031
C-тест со ссылкой на LLM на основе меры Левина (Kt) для сертификации высоко-сложных задач (arXiv:2610.14005v1)
В статье предложен тест на основе меры Левина (Kt), где большие языковые модели используются как референтные универсальные машины Тьюринга; формализована шкала сложности в битах и описан лёгкий конвейер генерации и сертификации заданий. Авторы подготовили первую батарею сертифицированных задач, протестировали её на двенадцати LLM и утверждают, что метод позволяет получать свежие высоко-сложные задания в «супра-интеллектуальном» окне, превосходящем возможности людей и современных передовых моделей.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье предложен тест на основе меры Левина (Kt), где большие языковые модели используются как референтные универсальные машины Тьюринга; формализована шкала сложности в битах и описан лёгкий конвейер генерации и сертификации заданий.
- Авторы подготовили первую батарею сертифицированных задач, протестировали её на двенадцати LLM и утверждают, что метод позволяет получать свежие высоко-сложные задания в «супра-интеллектуальном» окне, превосходящем возможности людей и современных передовых моделей.
- При надёжности этот подход даёт принципиально неперекрученный способ генерировать и сертифицировать задачи, сложность которых масштабируется с вычислительной сложностью механизма, позволяя оценивать системы выше уровней нынешних тестов, калиброванных по людям.
ПОЧЕМУ ЭТО ВАЖНО
При надёжности этот подход даёт принципиально неперекрученный способ генерировать и сертифицировать задачи, сложность которых масштабируется с вычислительной сложностью механизма, позволяя оценивать системы выше уровней нынешних тестов, калиброванных по людям.