НОВОСТЬ · RESEARCH · #160
Vibe Patenting: оценка LLM‑судей для профессиональных агентов по составлению патентов
Статья представляет Vibe Patenting — тестовую платформу для составления патентов, где отдельный LLM‑«судья» даёт структурированную обратную связь для итеративного доработки сгенерированных патентных черновиков. Авторы сообщают, что доработка под руководством судьи стабильно повышает оцениваемое судьёй качество (в то время как самовольная доработка достигает плато), позволяет агентам с низкой способностью рассуждения приблизиться к более «мощным» агентам, улучшение достигается также за счёт сильных моделей, большей цепочки рассуждений и специализированных рабочих процессов, и что валидация у профессионального патентного поверенного показывает значимую, но зависящую от метрик согласованность и систематические различия в калибровке.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Статья представляет Vibe Patenting — тестовую платформу для составления патентов, где отдельный LLM‑«судья» даёт структурированную обратную связь для итеративного доработки сгенерированных патентных черновиков.
- Авторы сообщают, что доработка под руководством судьи стабильно повышает оцениваемое судьёй качество (в то время как самовольная доработка достигает плато), позволяет агентам с низкой способностью рассуждения приблизиться к более «мощным» агентам, улучшение достигается также за счёт сильных моделей, большей цепочки рассуждений и специализированных рабочих процессов, и что валидация у профессионального патентного поверенного показывает значимую, но зависящую от метрик согласованность и систематические различия в калибровке.
- Это важно, потому что многие рабочие процессы полагаются на LLM как внутренних оценщиков; статья показывает как полезность, так и ограничения по калибровке LLM‑судей при их использовании для оценки и оптимизации сложных профессиональных задач, таких как составление патентов.
ПОЧЕМУ ЭТО ВАЖНО
Это важно, потому что многие рабочие процессы полагаются на LLM как внутренних оценщиков; статья показывает как полезность, так и ограничения по калибровке LLM‑судей при их использовании для оценки и оптимизации сложных профессиональных задач, таких как составление патентов.