ИССЛЕДОВАНИЕ · RESEARCH · #2623
BenchBench-Cloning: бенчмарк для планирования молекулярного клонирования языковыми моделями
Авторы опубликовали BenchBench-Cloning (arXiv:2610.33355v1) — бенчмарк из 65 задач для больших языковых моделей, ориентированный на сквозное планирование молекулярного клонирования: 50 задач по разработке протоколов оцениваются через выполнение в симуляторе клонирования, 15 задач по проектированию конструктов — детерминированными проверками и оценкой по рубрике с участием LLM. Среди восьми протестированных систем GPT-6 Astra показала лучший результат — 30,6% (остальные 8,6–22,2%), при этом бенчмарк остался не насыщенным при подборе из десяти попыток, что подчёркивает сохраняющиеся трудности в планировании экспериментов.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Авторы опубликовали BenchBench-Cloning (arXiv:2610.33355v1) — бенчмарк из 65 задач для больших языковых моделей, ориентированный на сквозное планирование молекулярного клонирования: 50 задач по разработке протоколов оцениваются через выполнение в симуляторе клонирования, 15 задач по проектированию конструктов — детерминированными проверками и оценкой по рубрике с участием LLM.
- Среди восьми протестированных систем GPT-6 Astra показала лучший результат — 30,6% (остальные 8,6–22,2%), при этом бенчмарк остался не насыщенным при подборе из десяти попыток, что подчёркивает сохраняющиеся трудности в планировании экспериментов.
- BenchBench-Cloning важен тем, что оценивает сквозное планирование экспериментов — более сложную и реалистичную задачу по сравнению с изолированными вопросами знаний — и показывает, что даже передовые LLM испытывают затруднения, что направляет дальнейшие исследования.
ПОЧЕМУ ЭТО ВАЖНО
BenchBench-Cloning важен тем, что оценивает сквозное планирование экспериментов — более сложную и реалистичную задачу по сравнению с изолированными вопросами знаний — и показывает, что даже передовые LLM испытывают затруднения, что направляет дальнейшие исследования.