ИССЛЕДОВАНИЕ · RESEARCH · #1099
ORCA: бенчмарк для перевода кода в дата-сайенсе оценивает LLM
ORCA — новый бенчмарк для перевода кода в области дата-сайенса, размещённый на arXiv (2609.30749v1). Он включает ORCA-MAIN (1 600 заданий по работе с данными и глубокому обучению) и ORCA-PROJECT (200 проектов) с эталонными переводами и тестами; в оценках LLM показывают ограниченные результаты (Claude-Opus-4.6: 56,92% для ORCA-MAIN и 33,67% для ORCA-PROJECT), а двухэтапный метод с явной интенцией даёт прирост успешных переводов примерно на 4,80% и 5,33%.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- ORCA — новый бенчмарк для перевода кода в области дата-сайенса, размещённый на arXiv (2609.30749v1).
- Он включает ORCA-MAIN (1 600 заданий по работе с данными и глубокому обучению) и ORCA-PROJECT (200 проектов) с эталонными переводами и тестами; в оценках LLM показывают ограниченные результаты (Claude-Opus-4.6: 56,92% для ORCA-MAIN и 33,67% для ORCA-PROJECT), а двухэтапный метод с явной интенцией даёт прирост успешных переводов примерно на 4,80% и 5,33%.
- ORCA даёт проверяемый бенчмарк и базовые метрики, показывающие недостатки современных LLM при переводе реального кода для дата-сайенса, и демонстрирует, что дополнение намерения улучшает результаты.
ПОЧЕМУ ЭТО ВАЖНО
ORCA даёт проверяемый бенчмарк и базовые метрики, показывающие недостатки современных LLM при переводе реального кода для дата-сайенса, и демонстрирует, что дополнение намерения улучшает результаты.