Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #521

LLM judge

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

2

RESEARCH · 1 ИСТОЧН. · Apple Machine Learning Research

RISED: Отбор данных по рубрикам и самодистилляция для многосредовых LLM-агентов

Авторы предлагают RISED — метод, в котором общая рубричная лексика и LLM-судья маркируют роллауты в разных интерактивных средах; профили рубрик используются для онлайн-отбора данных, положительные рубрики служат привилегированным контекстом для он-полиcи самодистилляции, а отрицательные рубрики смещают генерацию роллаутов от повторяющихся ошибок. В статье сообщается, что RISED, по данным авторов, демонстрирует наивысший средний показатель прохождения по средам и занимает первое или второе место в каждой среде, а также проведён рубричный анализ изменений в поведении.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Vibe Patenting: оценка LLM‑судей для профессиональных агентов по составлению патентов

Статья представляет Vibe Patenting — тестовую платформу для составления патентов, где отдельный LLM‑«судья» даёт структурированную обратную связь для итеративного доработки сгенерированных патентных черновиков. Авторы сообщают, что доработка под руководством судьи стабильно повышает оцениваемое судьёй качество (в то время как самовольная доработка достигает плато), позволяет агентам с низкой способностью рассуждения приблизиться к более «мощным» агентам, улучшение достигается также за счёт сильных моделей, большей цепочки рассуждений и специализированных рабочих процессов, и что валидация у профессионального патентного поверенного показывает значимую, но зависящую от метрик согласованность и систематические различия в калибровке.

7.0