Cohere Labs расширяет открытый научный бенчмарк культурных загадок
Cohere Labs провела открытый научный проект, вовлекавший более 100 участников из свыше 50 стран через Discord для создания и оценки коллективного бенчмарка культурных загадок, проверяющего, где ИИ-модели, обученные преимущественно на английских данных, ошибаются или галлюцинируют в вопросах культурных знаний в разных языках. Проект сделал упор на инклюзивность (без требований к опыту) и собрал данные, показывающие разрыв между языковой беглостью моделей и их пониманием культуры.