Не установлено по доступным источникам.
GOOGLE · ТРЕКЕР МОДЕЛИ
Gemini 2.5 Flash
Gemini 2.5 Flash — вариант семейства Gemini от Google, использованный в бенчмарке видеопомощника StreamVibe. В оценке он предлагал, когда вмешаться, и что сказать; примеры требовали единогласного одобрения четырёх оценщиков.ТЕКУЩИЙ СНИМОК1/5 РАЗДЕЛОВ С ДАННЫМИ
Главные характеристики в одном месте.
Не установлено по доступным источникам.
Не установлено по доступным источникам.
Сравнение Retrieve-then-Plan и Plan-then-Retrieve на ToolBenchНа наборе ToolBench (46 984 уникальных API; G1 — одиночные инструменты, G2 — мульти-инструменты внутри категории, G3 — мульти-инструменты между категориями) Retrieve-then-Plan (RtP) превосходит Plan-then-Retrieve (PtR) для одиночных инструментов, тогда как PtR превосходит RtP для мульти-инструментных запросов. Такая смена лидера сохраняется для всех бюджетов выборки (k=1..20) и, по сообщению, наблюдается в семействах моделей включая Gemini 2.5 Flash.
Использовался в бенчмарке StreamVibeGemini 2.5 Flash использовался в оценках на бенчмарке StreamVibe (около 4 100 примеров из примерно 183 часов записей), которые измеряли время и содержание проактивной помощи.
Не установлено по доступным источникам.
ПРОВЕРЯЕМЫЕ ФАКТЫ
Каждое значение привязано к источнику и дате.
БЕНЧМАРКИ · Сравнение Retrieve-then-Plan и Plan-then-Retrieve на ToolBenchНЕЗАВИСИМО ПОДТВЕРЖДЕНО
На наборе ToolBench (46 984 уникальных API; G1 — одиночные инструменты, G2 — мульти-инструменты внутри категории, G3 — мульти-инструменты между категориями) Retrieve-then-Plan (RtP) превосходит Plan-then-Retrieve (PtR) для одиночных инструментов, тогда как PtR превосходит RtP для мульти-инструментных запросов. Такая смена лидера сохраняется для всех бюджетов выборки (k=1..20) и, по сообщению, наблюдается в семействах моделей включая Gemini 2.5 Flash.
БЕЗОПАСНОСТЬ · Выявлен режим ошибки «stub-hallucination»НЕЗАВИСИМО ПОДТВЕРЖДЕНО
В исследовании описан режим ошибки «stub-hallucination», при котором языковые модели придумывают правдоподобные, но несуществующие имена API; это влияет на сгенерированные заглушки PtR и, по сообщению, наблюдается в семействах моделей включая Gemini 2.5 Flash.
ОГРАНИЧЕНИЯ · Стоимость выполнения PtR (накладные токены)НЕЗАВИСИМО ПОДТВЕРЖДЕНО
Анализ показывает, что дополнительный шаг обнаружения в PtR примерно удваивает стоимость инференса (накладные токены). Более высокая стоимость оправдана для мульти-инструментных запросов, но ухудшает соотношение производительности и стоимости для одиночных запросов; это, по сообщению, справедливо для семейств моделей включая Gemini 2.5 Flash.
ВОЗМОЖНОСТИ · Предлагал, когда предложить помощьДАННЫЕ РАЗРАБОТЧИКА
В бенчмарке StreamVibe Gemini 2.5 Flash предлагал, когда вмешаться, и что сказать; каждое примечание требовало единогласного одобрения четырёх человек.
БЕНЧМАРКИ · Использовался в бенчмарке StreamVibeДАННЫЕ РАЗРАБОТЧИКА
Gemini 2.5 Flash использовался в оценках на бенчмарке StreamVibe (около 4 100 примеров из примерно 183 часов записей), которые измеряли время и содержание проактивной помощи.
ЧТО ИЗМЕНИЛОСЬ
Сохранённые версии паспорта, без догадок задним числом.
ВОЗМОЖНОСТИ · Предлагал, когда предложить помощь+ В бенчмарке StreamVibe Gemini 2.5 Flash предлагал, когда вмешаться, и что сказать; каждое примечание требовало единогласного одобрения четырёх человек.
БЕНЧМАРКИ · Использовался в бенчмарке StreamVibe+ Gemini 2.5 Flash использовался в оценках на бенчмарке StreamVibe (около 4 100 примеров из примерно 183 часов записей), которые измеряли время и содержание проактивной помощи.