ИССЛЕДОВАНИЕ · RESEARCH · #1109
HARDEN: ограниченный эволюционный поиск для создания более сложных оценочных случаев с сохранением ответов
HARDEN — метод ограниченного эволюционного поиска, который превращает входные данные существующих оценочных случаев в более сложные варианты, сохраняя ожидаемые ответы и соблюдая ограничения выполнимости (семантика, реалистичность, валидность исполнения). Применённый к FinQA, PubMedQA и ContractNLI на трёх масштабах Qwen3.5, HARDEN снизил точность моделей в среднем на 22,7% и до 49,9% по сравнению с одноразовыми базовыми подходами при тех же проверках выполнимости.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- HARDEN — метод ограниченного эволюционного поиска, который превращает входные данные существующих оценочных случаев в более сложные варианты, сохраняя ожидаемые ответы и соблюдая ограничения выполнимости (семантика, реалистичность, валидность исполнения).
- Применённый к FinQA, PubMedQA и ContractNLI на трёх масштабах Qwen3.5, HARDEN снизил точность моделей в среднем на 22,7% и до 49,9% по сравнению с одноразовыми базовыми подходами при тех же проверках выполнимости.
- Показывает, что ограниченный эволюционный поиск может создавать существенно более сложные, но валидные оценочные случаи, что указывает на недооценку сложности реальных задач в многих бенчмарках и необходимость более жёсткого тестирования надёжности.
ПОЧЕМУ ЭТО ВАЖНО
Показывает, что ограниченный эволюционный поиск может создавать существенно более сложные, но валидные оценочные случаи, что указывает на недооценку сложности реальных задач в многих бенчмарках и необходимость более жёсткого тестирования надёжности.