ИССЛЕДОВАНИЕ · RESEARCH · #3954
Модель System 1 на «замороженных» LLM достигает 46% на MedMCQA (arXiv:2611.23832v1)
Авторы восстановили модель принятия решений System 1 для задач с несколькими вариантами ответа, использовав «замороженные» языковые модели (Qwen3.5-0.8B, Granite-4.2-3B, Qwen3-8B) и обучив только два небольших проекционных слоя и температуру с контрастной функцией потерь; с Qwen3-8B модель показывает 46,0% на 3 842 отложенных вопросах MedMCQA (случай 25%), в более простых настройках — около 33%. Приведены аблации (перемешивание вопросов, чтение слоёв и т.п.), указано, что прирост на валидации превышал тестовый, и подчёркнуто, что это недорогая базовая линия, а не конкурентная медицинская система по сравнению с Flan-PaLM и Med-PaLM 2 при иных протоколах оценки.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Авторы восстановили модель принятия решений System 1 для задач с несколькими вариантами ответа, использовав «замороженные» языковые модели (Qwen3.5-0.8B, Granite-4.2-3B, Qwen3-8B) и обучив только два небольших проекционных слоя и температуру с контрастной функцией потерь; с Qwen3-8B модель показывает 46,0% на 3 842 отложенных вопросах MedMCQA (случай 25%), в более простых настройках — около 33%.
- Приведены аблации (перемешивание вопросов, чтение слоёв и т.п.), указано, что прирост на валидации превышал тестовый, и подчёркнуто, что это недорогая базовая линия, а не конкурентная медицинская система по сравнению с Flan-PaLM и Med-PaLM 2 при иных протоколах оценки.
- Предоставляет простую воспроизводимую базовую линию на «замороженных» LLM для медицинских вопросов, помогающую оценить преимущества больших или дообученных систем.
ПОЧЕМУ ЭТО ВАЖНО
Предоставляет простую воспроизводимую базовую линию на «замороженных» LLM для медицинских вопросов, помогающую оценить преимущества больших или дообученных систем.