ИССЛЕДОВАНИЕ · RESEARCH · #2395
Cohere Labs расширяет открытый научный бенчмарк культурных загадок
Cohere Labs провела открытый научный проект, вовлекавший более 100 участников из свыше 50 стран через Discord для создания и оценки коллективного бенчмарка культурных загадок, проверяющего, где ИИ-модели, обученные преимущественно на английских данных, ошибаются или галлюцинируют в вопросах культурных знаний в разных языках. Проект сделал упор на инклюзивность (без требований к опыту) и собрал данные, показывающие разрыв между языковой беглостью моделей и их пониманием культуры.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Cohere Labs провела открытый научный проект, вовлекавший более 100 участников из свыше 50 стран через Discord для создания и оценки коллективного бенчмарка культурных загадок, проверяющего, где ИИ-модели, обученные преимущественно на английских данных, ошибаются или галлюцинируют в вопросах культурных знаний в разных языках.
- Проект сделал упор на инклюзивность (без требований к опыту) и собрал данные, показывающие разрыв между языковой беглостью моделей и их пониманием культуры.
- Коллективные культурные бенчмарки выявляют конкретные пробелы в знаниях и риски галлюцинаций у моделей, обученных преимущественно на английских данных, что важно для улучшения многоязычного и культурно осмысленного ИИ.
ПОЧЕМУ ЭТО ВАЖНО
Коллективные культурные бенчмарки выявляют конкретные пробелы в знаниях и риски галлюцинаций у моделей, обученных преимущественно на английских данных, что важно для улучшения многоязычного и культурно осмысленного ИИ.