ИССЛЕДОВАНИЕ · RESEARCH · #1406
Rules to Tools (R2T): выполняемые проверки для агентов на основе LLM в научных вычислениях (arXiv:2610.00313v1)
Препринт на arXiv представляет Rules to Tools (R2T) — подход, который предоставляет готовые выполняемые проверки публичных научных требований для агентов по научному кодированию на базе LLM. В экспериментах с сопоставимыми группами SciCode команды, делившие письменные проверки, исходные программы, модель и бюджеты, передавали вызываемую реализацию группе-инструменту; в двух когортах по идентификаторам задач готовые проверки дали 29/30 полных ремонтов против 26/30 при подробном тексте, при смешанных результатах на уровне задач (три ID задач в пользу инструментов, одна — в пользу текста, одиннадцать — вничью) и бутстрэп 95% интервалом разницы в [-12.5, 43.75] процентных пунктов; другие когорты и сравнения PDE показывают небольшие, зависящие от задачи, различия в успехах и изменения в выводе агента и публичном использовании CPU.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Препринт на arXiv представляет Rules to Tools (R2T) — подход, который предоставляет готовые выполняемые проверки публичных научных требований для агентов по научному кодированию на базе LLM.
- В экспериментах с сопоставимыми группами SciCode команды, делившие письменные проверки, исходные программы, модель и бюджеты, передавали вызываемую реализацию группе-инструменту; в двух когортах по идентификаторам задач готовые проверки дали 29/30 полных ремонтов против 26/30 при подробном тексте, при смешанных результатах на уровне задач (три ID задач в пользу инструментов, одна — в пользу текста, одиннадцать — вничью) и бутстрэп 95% интервалом разницы в [-12.5, 43.75] процентных пунктов; другие когорты и сравнения PDE показывают небольшие, зависящие от задачи, различия в успехах и изменения в выводе агента и публичном использовании CPU.
- Готовые выполняемые проверки изменяют показатели успешности исправлений и затраты на стороне агента в зависимых от задачи способах, давая эмпирические данные о том, как интерфейсы-инструменты можно использовать для валидации и сокращения вывода моделей в научных рабочих процессах.
ПОЧЕМУ ЭТО ВАЖНО
Готовые выполняемые проверки изменяют показатели успешности исправлений и затраты на стороне агента в зависимых от задачи способах, давая эмпирические данные о том, как интерфейсы-инструменты можно использовать для валидации и сокращения вывода моделей в научных рабочих процессах.