ИССЛЕДОВАНИЕ · RESEARCH · #1317
ChartRevise: набор данных и протокол для точного редактирования графиков через код
ChartRevise — это структурированный набор данных и безреференсный протокол оценки для точного редактирования графиков, основанный на грамматике графики и охватывающий 344 типа правок для 20 типов графиков и трёх библиотек с 92 438 записями. Протокол отдельно проверяет выполнение отдельных требований, выявляет необоснованные изменения и пропущенные связанные обновления и сочетает эти проверки с исполнением и рендерингом; дообучение на наборе данных дало +16% по среднему восстановлению требований и +22% по точному успеху правки.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- ChartRevise — это структурированный набор данных и безреференсный протокол оценки для точного редактирования графиков, основанный на грамматике графики и охватывающий 344 типа правок для 20 типов графиков и трёх библиотек с 92 438 записями.
- Протокол отдельно проверяет выполнение отдельных требований, выявляет необоснованные изменения и пропущенные связанные обновления и сочетает эти проверки с исполнением и рендерингом; дообучение на наборе данных дало +16% по среднему восстановлению требований и +22% по точному успеху правки.
- Это даёт крупный систематический бенчмарк и детальную автоматическую оценку, которая отличает запрошенные правки от связанных или необоснованных изменений кода, улучшая обучение и оценку моделей для редактирования кода, создающего графики.
ПОЧЕМУ ЭТО ВАЖНО
Это даёт крупный систематический бенчмарк и детальную автоматическую оценку, которая отличает запрошенные правки от связанных или необоснованных изменений кода, улучшая обучение и оценку моделей для редактирования кода, создающего графики.