ИССЛЕДОВАНИЕ · RESEARCH · #832
Рамка валидационно-ориентированного weak-supervision для бенчмарков психического здоровья и суицидальных высказываний в Bluesky
Новый препринт в arXiv (arXiv:2609.22696v1) предлагает pipeline с валидационно-ориентированным weak-supervision для создания бенчмарков по суицидальным высказываниям (SI) и более широким аспектам психического здоровья (MH) в децентрализованной платформе Bluesky. Система объединяет сбор public firehose, лексическое фильтрование, бинарную аннотацию с помощью Llama-3-8B, человеческую валидацию подвыборок и оценку трансформерных моделей, сформировав корпуса из 8 346 постов с метками SI и 9 988 постов с метками MH; эксперименты показывают сильную зависимость результатов от определения задач и протокола валидации, при этом BERT+LSTM, RoBERTa и DistilRoBERTa лидируют по разным метрикам, а ручная валидация выявляет, что в SI преобладают ложноотрицательные метки, а в MH — ложноположительные.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Новый препринт в arXiv (arXiv:2609.22696v1) предлагает pipeline с валидационно-ориентированным weak-supervision для создания бенчмарков по суицидальным высказываниям (SI) и более широким аспектам психического здоровья (MH) в децентрализованной платформе Bluesky.
- Система объединяет сбор public firehose, лексическое фильтрование, бинарную аннотацию с помощью Llama-3-8B, человеческую валидацию подвыборок и оценку трансформерных моделей, сформировав корпуса из 8 346 постов с метками SI и 9 988 постов с метками MH; эксперименты показывают сильную зависимость результатов от определения задач и протокола валидации, при этом BERT+LSTM, RoBERTa и DistilRoBERTa лидируют по разным метрикам, а ручная валидация выявляет, что в SI преобладают ложноотрицательные метки, а в MH — ложноположительные.
- Работа демонстрирует, что децентрализованные соцсети могут служить основой для воспроизводимых бенчмарков по психическому здоровью, но лишь при совместной оценке происхождения меток, стратегии валидации и дизайна системы (включая аннотацию с LLM и ручную проверку).
ПОЧЕМУ ЭТО ВАЖНО
Работа демонстрирует, что децентрализованные соцсети могут служить основой для воспроизводимых бенчмарков по психическому здоровью, но лишь при совместной оценке происхождения меток, стратегии валидации и дизайна системы (включая аннотацию с LLM и ручную проверку).