Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #24396

AI judges

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

2

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Измерение потерь намерений при создании смарт‑контрактов ИИ (arXiv:2610.37830v1)

В новой статье на arXiv предложена оценка на основе исполнения: те же транзакции прогоняют по сгенерированному ИИ смарт‑контракту и по оригиналу, чтобы измерить совпадение поведения. Авторы показывают, что распространённые инструменты проверки и автоматические исправления пропускают очевидные ошибки, проверка только включённых функций скрывает отличия, и предлагают «elicitation‑first» — короткий опрос требований до генерации; они публикуют инструменты, 600 задач и все результаты, причём опрос до написания кода лучше восстанавливает намерения, чем последующие правки.

8.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

NewsBench: эталон для экспертной оценки эпистемического качества AI-новостей (arXiv:2610.33240v1)

NewsBench — это эталон и двухэтапный процесс оценки AI-текстов по новостным и актуальным событиям, основанный на руководящих принципах старших практиков журналистики, политики и разведанализа, которые формализуют качество источников, фактичность и нейтральность. Включает ≈3 000 запросов для оценки (≈500 обновляются ежемесячно), ~2 500 экспертно размеченных примеров для калибровки и валидации и набор автоматических AI-судей, проверенных на экспертных эталонах; при применении к четырём frontier-моделям выявлены разные профили ошибок по трём измерениям.

7.0