ИССЛЕДОВАНИЕ · RESEARCH · #842
IntLawNER: набор разметки NER и бенчмарк для международного права (arXiv)
Статья представляет IntLawNER — токенный датасет NER и бенчмарк для кодифицированных текстов международного права: 2 987 золотых предложений и 8 094 сущностных аннотации из решений МУС, резолюций Совета Безопасности ООН и решений ЕСПЧ с семью типовыми метками. Авторы описывают гибридный конвейер (извлечение кандидатов, проверка LLM, ручная валидация), сокращающий 468 тыс. исходных предложений до итоговой выборки, анализируют расхождения серебряной и золотой разметки и показывают, что few-shot примеры сильно улучшают LLM; Claude Opus 4.6 достигает 0.873 micro-F1.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Статья представляет IntLawNER — токенный датасет NER и бенчмарк для кодифицированных текстов международного права: 2 987 золотых предложений и 8 094 сущностных аннотации из решений МУС, резолюций Совета Безопасности ООН и решений ЕСПЧ с семью типовыми метками.
- Авторы описывают гибридный конвейер (извлечение кандидатов, проверка LLM, ручная валидация), сокращающий 468 тыс.
- исходных предложений до итоговой выборки, анализируют расхождения серебряной и золотой разметки и показывают, что few-shot примеры сильно улучшают LLM; Claude Opus 4.6 достигает 0.873 micro-F1.
ПОЧЕМУ ЭТО ВАЖНО
IntLawNER заполняет пробел — первый токенный NER-бенчмарк для международного права — и показывает, что доменная разметка и few-shot подсказки существенно влияют на качество моделей.