ИНВЕСТИЦИИ · MODELS · #2481
Решающее языковое ядро Jev сопоставимо с многими LLM-судьями для оценки клинического ИИ, но гораздо дешевле и быстрее (предпечатная статья arXiv)
Предпечатная статья на arXiv сравнивает Jev — языковую модель решений, возвращающую структурированные суждения, с фронтирными и открытыми LLM-судьями в четырёх сценариях оценки клинических ответов. По 118 педиатрическим ответам согласие Jev с врачебными порядковыми оценками (Gwet's AC2 0.50; ожидаемое 0.53) соответствовало или превосходило семь из 12 LLM-судей (включая Claude Opus 5.5 — 0.49 и GPT-6 — 0.38); Jev также соответствовал или превосходил судей на задачах HealthBench и MedHELM, совпав с GPT-5.4 на 91% критериев HealthBench Professional, при том что фронтирные судьи обходились в 73–294× дороже и работали в 7–57× медленнее.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Предпечатная статья на arXiv сравнивает Jev — языковую модель решений, возвращающую структурированные суждения, с фронтирными и открытыми LLM-судьями в четырёх сценариях оценки клинических ответов.
- По 118 педиатрическим ответам согласие Jev с врачебными порядковыми оценками (Gwet's AC2 0.50; ожидаемое 0.53) соответствовало или превосходило семь из 12 LLM-судей (включая Claude Opus 5.5 — 0.49 и GPT-6 — 0.38); Jev также соответствовал или превосходил судей на задачах HealthBench и MedHELM, совпав с GPT-5.4 на 91% критериев HealthBench Professional, при том что фронтирные судьи обходились в 73–294× дороже и работали в 7–57× медленнее.
- Если результаты подтвердятся, такие модели решений, как Jev, могут обеспечить гораздо более дешёвую и быструю автоматическую оценку клинического генеративного ИИ в масштабе, снижая барьеры для регулярных проверок качества.
ПОЧЕМУ ЭТО ВАЖНО
Если результаты подтвердятся, такие модели решений, как Jev, могут обеспечить гораздо более дешёвую и быструю автоматическую оценку клинического генеративного ИИ в масштабе, снижая барьеры для регулярных проверок качества.