ИССЛЕДОВАНИЕ · RESEARCH · #2630
NewsBench: эталон для экспертной оценки эпистемического качества AI-новостей (arXiv:2610.33240v1)
NewsBench — это эталон и двухэтапный процесс оценки AI-текстов по новостным и актуальным событиям, основанный на руководящих принципах старших практиков журналистики, политики и разведанализа, которые формализуют качество источников, фактичность и нейтральность. Включает ≈3 000 запросов для оценки (≈500 обновляются ежемесячно), ~2 500 экспертно размеченных примеров для калибровки и валидации и набор автоматических AI-судей, проверенных на экспертных эталонах; при применении к четырём frontier-моделям выявлены разные профили ошибок по трём измерениям.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- NewsBench — это эталон и двухэтапный процесс оценки AI-текстов по новостным и актуальным событиям, основанный на руководящих принципах старших практиков журналистики, политики и разведанализа, которые формализуют качество источников, фактичность и нейтральность.
- Включает ≈3 000 запросов для оценки (≈500 обновляются ежемесячно), ~2 500 экспертно размеченных примеров для калибровки и валидации и набор автоматических AI-судей, проверенных на экспертных эталонах; при применении к четырём frontier-моделям выявлены разные профили ошибок по трём измерениям.
- Привязка оценки к экспертным редакционным стандартам и проверенным AI-судьям даёт более надёжный и масштабируемый способ измерять и сравнивать, как модели работают с источниками, фактичностью и нейтральностью в новостях.
ПОЧЕМУ ЭТО ВАЖНО
Привязка оценки к экспертным редакционным стандартам и проверенным AI-судьям даёт более надёжный и масштабируемый способ измерять и сравнивать, как модели работают с источниками, фактичностью и нейтральностью в новостях.