P-ContextBench: бенчмарк понимания персонального контекста LLM (arXiv:2610.40959v1)
P-ContextBench — реалистичный, проверяемый и масштабируемый бенчмарк для оценки того, как LLM работают с фрагментарным и приватным персональным контекстом: он строит цифровых людей, основанных на жизненных историях, и разбросывает характеристики по синтетическим записям мобильных приложений. В статье на arXiv (arXiv:2610.40959v1) приведены 100 персонажей с 10 088 скрытыми фактами, 18 261 фрагментом журналов приложений и 4 810 проверенными тест-кейсами по пяти способностям; авторы показывают слабые результаты современных моделей по ряду задач (ниже ~60% по некоторым возможностям и менее 10% тестов правильно во всех трёх ключевых повторных запусках).