ИССЛЕДОВАНИЕ · RESEARCH · #844
Статья разделяет воспроизводимость, чувствительность измерения и устойчивость в оценке хостируемых LLM; дефицит Gemini 3.1 воспроизводится, но может обращаться при перестройке конфигурации
Предпечатная статья на arXiv (arXiv:2609.22478v1) разделяет три валидационные вопроса — репликацию, чувствительность измерения и устойчивость — при оценке хостируемых языковых моделей в среде Regent Chess. Авторы воспроизводят ранее отмеченный дефицит Gemini 3.1 Flash‑Lite на свежих играх, но показывают, что перестройка конфигурации оценки/вывода под тем же публичным идентификатором и сравнение разных идентификаторов (Gemini 3.1 против Gemini 3.7) может существенно изменить или обратить результаты; вклад периода обслуживания остаётся неразрешённым. Авторы рекомендуют явное индексирование поведенческих утверждений по идентификатору модели, периоду обслуживания, инструменту измерения и конфигурации вывода.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Предпечатная статья на arXiv (arXiv:2609.22478v1) разделяет три валидационные вопроса — репликацию, чувствительность измерения и устойчивость — при оценке хостируемых языковых моделей в среде Regent Chess.
- Авторы воспроизводят ранее отмеченный дефицит Gemini 3.1 Flash‑Lite на свежих играх, но показывают, что перестройка конфигурации оценки/вывода под тем же публичным идентификатором и сравнение разных идентификаторов (Gemini 3.1 против Gemini 3.7) может существенно изменить или обратить результаты; вклад периода обслуживания остаётся неразрешённым.
- Авторы рекомендуют явное индексирование поведенческих утверждений по идентификатору модели, периоду обслуживания, инструменту измерения и конфигурации вывода.
ПОЧЕМУ ЭТО ВАЖНО
Поскольку в работе показано, что кажущиеся идентичными оценки хостируемых моделей могут приводить к разным выводам из‑за перестроек, идентификаторов и выбора инструмента, это подчёркивает необходимость индексировать и указывать точный идентификатор, период обслуживания и конфигурацию измерения для поведенческих утверждений.