ORCA: бенчмарк для перевода кода в дата-сайенсе оценивает LLM
ORCA — новый бенчмарк для перевода кода в области дата-сайенса, размещённый на arXiv (2609.30749v1). Он включает ORCA-MAIN (1 600 заданий по работе с данными и глубокому обучению) и ORCA-PROJECT (200 проектов) с эталонными переводами и тестами; в оценках LLM показывают ограниченные результаты (Claude-Opus-4.6: 56,92% для ORCA-MAIN и 33,67% для ORCA-PROJECT), а двухэтапный метод с явной интенцией даёт прирост успешных переводов примерно на 4,80% и 5,33%.