Статья разделяет воспроизводимость, чувствительность измерения и устойчивость в оценке хостируемых LLM; дефицит Gemini 3.1 воспроизводится, но может обращаться при перестройке конфигурации
Предпечатная статья на arXiv (arXiv:2609.22478v1) разделяет три валидационные вопроса — репликацию, чувствительность измерения и устойчивость — при оценке хостируемых языковых моделей в среде Regent Chess. Авторы воспроизводят ранее отмеченный дефицит Gemini 3.1 Flash‑Lite на свежих играх, но показывают, что перестройка конфигурации оценки/вывода под тем же публичным идентификатором и сравнение разных идентификаторов (Gemini 3.1 против Gemini 3.7) может существенно изменить или обратить результаты; вклад периода обслуживания остаётся неразрешённым. Авторы рекомендуют явное индексирование поведенческих утверждений по идентификатору модели, периоду обслуживания, инструменту измерения и конфигурации вывода.