Рамка валидационно-ориентированного weak-supervision для бенчмарков психического здоровья и суицидальных высказываний в Bluesky
Новый препринт в arXiv (arXiv:2609.22696v1) предлагает pipeline с валидационно-ориентированным weak-supervision для создания бенчмарков по суицидальным высказываниям (SI) и более широким аспектам психического здоровья (MH) в децентрализованной платформе Bluesky. Система объединяет сбор public firehose, лексическое фильтрование, бинарную аннотацию с помощью Llama-3-8B, человеческую валидацию подвыборок и оценку трансформерных моделей, сформировав корпуса из 8 346 постов с метками SI и 9 988 постов с метками MH; эксперименты показывают сильную зависимость результатов от определения задач и протокола валидации, при этом BERT+LSTM, RoBERTa и DistilRoBERTa лидируют по разным метрикам, а ручная валидация выявляет, что в SI преобладают ложноотрицательные метки, а в MH — ложноположительные.