ИССЛЕДОВАНИЕ · RESEARCH · #2986
P-ContextBench: бенчмарк понимания персонального контекста LLM (arXiv:2610.40959v1)
P-ContextBench — реалистичный, проверяемый и масштабируемый бенчмарк для оценки того, как LLM работают с фрагментарным и приватным персональным контекстом: он строит цифровых людей, основанных на жизненных историях, и разбросывает характеристики по синтетическим записям мобильных приложений. В статье на arXiv (arXiv:2610.40959v1) приведены 100 персонажей с 10 088 скрытыми фактами, 18 261 фрагментом журналов приложений и 4 810 проверенными тест-кейсами по пяти способностям; авторы показывают слабые результаты современных моделей по ряду задач (ниже ~60% по некоторым возможностям и менее 10% тестов правильно во всех трёх ключевых повторных запусках).
КЛЮЧЕВЫЕ ТЕЗИСЫ
- P-ContextBench — реалистичный, проверяемый и масштабируемый бенчмарк для оценки того, как LLM работают с фрагментарным и приватным персональным контекстом: он строит цифровых людей, основанных на жизненных историях, и разбросывает характеристики по синтетическим записям мобильных приложений.
- В статье на arXiv (arXiv:2610.40959v1) приведены 100 персонажей с 10 088 скрытыми фактами, 18 261 фрагментом журналов приложений и 4 810 проверенными тест-кейсами по пяти способностям; авторы показывают слабые результаты современных моделей по ряду задач (ниже ~60% по некоторым возможностям и менее 10% тестов правильно во всех трёх ключевых повторных запусках).
- Предоставляет реалистичный и масштабируемый бенчмарк, выявляющий существенные пробелы в умении LLM работать с приватным фрагментарным персональным контекстом и дающий измеримые цели для улучшения безопасности и надёжности персональных агентов.
ПОЧЕМУ ЭТО ВАЖНО
Предоставляет реалистичный и масштабируемый бенчмарк, выявляющий существенные пробелы в умении LLM работать с приватным фрагментарным персональным контекстом и дающий измеримые цели для улучшения безопасности и надёжности персональных агентов.