AI2 публикует бенчмарк 'Old Ideas, Novel Problems' — оценщики новизны на LLM ненадёжны
AI2 опубликовал исследование и открытый бенчмарк «Old Ideas, Novel Problems», оценивающий, насколько надёжно большие языковые модели судят о новизне научных идей. С помощью автоматизированного пайплайна на отзывах ICLR 2026, двух наборов тестов (Human-Only: 154 высоко-новых / 145 низко-новых идей; Human+Generated: 154 человеческие идеи в парах с 154 сгенерированными), и шести оценщиков (GPT-5.1/5.2/5.4 и Claude Sonnet/Opus), авторы показывают сильную чувствительность решений к мелким изменениям в установке (пара слов в промпте изменила точность более чем на 50 процентных пунктов), при этом поиск по литературе и дополнительный рассудок не даёт стабильного улучшения, а две специализированные системы уступают простому промпту для Claude Opus 4.6.