ИССЛЕДОВАНИЕ · RESEARCH · #2707
MARQ: модульный, не зависящий от LLM прототип, внедряющий критерии INCOSE для оценки качества требований
В препринте на arXiv представлен MARQ — модульный, не зависящий от конкретной LLM прототип, дополняющий модели стеком знаний, реализующим критерии качества требований INCOSE. На экспертной выборке требований NASA (100 прогонов на модель) MARQ повышает медианные F1 по сравнению с «из коробки» моделями (Claude: 0.55 → 0.80; GPT-5.6 Sol: 0.52 → 0.62; Gemma 3 12B: 0.18 → 0.53), причём улучшения сосредоточены в критериях Correctness и Conformance и зависят от модели (компромиссы между пропусками и ложными срабатываниями).
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В препринте на arXiv представлен MARQ — модульный, не зависящий от конкретной LLM прототип, дополняющий модели стеком знаний, реализующим критерии качества требований INCOSE.
- На экспертной выборке требований NASA (100 прогонов на модель) MARQ повышает медианные F1 по сравнению с «из коробки» моделями (Claude: 0.55 → 0.80; GPT-5.6 Sol: 0.52 → 0.62; Gemma 3 12B: 0.18 → 0.53), причём улучшения сосредоточены в критериях Correctness и Conformance и зависят от модели (компромиссы между пропусками и ложными срабатываниями).
- Внедрение явных знаний системной инженерии (критериев INCOSE) в LLM-процессы может существенно повысить автоматическое выявление дефектов требований и надёжность моделей, при этом улучшения зависят от модели и критерия и требуют участия человека для проверки.
ПОЧЕМУ ЭТО ВАЖНО
Внедрение явных знаний системной инженерии (критериев INCOSE) в LLM-процессы может существенно повысить автоматическое выявление дефектов требований и надёжность моделей, при этом улучшения зависят от модели и критерия и требуют участия человека для проверки.