Tech Meridian← ВСЕ МОДЕЛИ
PROМОЙ MERIDIAN

GOOGLE · ТРЕКЕР МОДЕЛИ

Gemini 2.5 Flash

Gemini 2.5 Flash — вариант семейства Gemini от Google, использованный в бенчмарке видеопомощника StreamVibe. В оценке он предлагал, когда вмешаться, и что сказать; примеры требовали единогласного одобрения четырёх оценщиков.

ТЕКУЩИЙ СНИМОК1/5 РАЗДЕЛОВ С ДАННЫМИ

Главные характеристики в одном месте.

ЦЕНА

Не установлено по доступным источникам.

КОНТЕКСТ

Не установлено по доступным источникам.

МОДАЛЬНОСТИ

Не установлено по доступным источникам.

БЕНЧМАРКИ
Сравнение Retrieve-then-Plan и Plan-then-Retrieve на ToolBenchНа наборе ToolBench (46 984 уникальных API; G1 — одиночные инструменты, G2 — мульти-инструменты внутри категории, G3 — мульти-инструменты между категориями) Retrieve-then-Plan (RtP) превосходит Plan-then-Retrieve (PtR) для одиночных инструментов, тогда как PtR превосходит RtP для мульти-инструментных запросов. Такая смена лидера сохраняется для всех бюджетов выборки (k=1..20) и, по сообщению, наблюдается в семействах моделей включая Gemini 2.5 Flash.
Использовался в бенчмарке StreamVibeGemini 2.5 Flash использовался в оценках на бенчмарке StreamVibe (около 4 100 примеров из примерно 183 часов записей), которые измеряли время и содержание проактивной помощи.
ДОСТУПНОСТЬ

Не установлено по доступным источникам.

ПРОВЕРЯЕМЫЕ ФАКТЫ

Каждое значение привязано к источнику и дате.

БЕНЧМАРКИ · Сравнение Retrieve-then-Plan и Plan-then-Retrieve на ToolBenchНЕЗАВИСИМО ПОДТВЕРЖДЕНО

На наборе ToolBench (46 984 уникальных API; G1 — одиночные инструменты, G2 — мульти-инструменты внутри категории, G3 — мульти-инструменты между категориями) Retrieve-then-Plan (RtP) превосходит Plan-then-Retrieve (PtR) для одиночных инструментов, тогда как PtR превосходит RtP для мульти-инструментных запросов. Такая смена лидера сохраняется для всех бюджетов выборки (k=1..20) и, по сообщению, наблюдается в семействах моделей включая Gemini 2.5 Flash.

БЕЗОПАСНОСТЬ · Выявлен режим ошибки «stub-hallucination»НЕЗАВИСИМО ПОДТВЕРЖДЕНО

В исследовании описан режим ошибки «stub-hallucination», при котором языковые модели придумывают правдоподобные, но несуществующие имена API; это влияет на сгенерированные заглушки PtR и, по сообщению, наблюдается в семействах моделей включая Gemini 2.5 Flash.

ОГРАНИЧЕНИЯ · Стоимость выполнения PtR (накладные токены)НЕЗАВИСИМО ПОДТВЕРЖДЕНО

Анализ показывает, что дополнительный шаг обнаружения в PtR примерно удваивает стоимость инференса (накладные токены). Более высокая стоимость оправдана для мульти-инструментных запросов, но ухудшает соотношение производительности и стоимости для одиночных запросов; это, по сообщению, справедливо для семейств моделей включая Gemini 2.5 Flash.

ВОЗМОЖНОСТИ · Предлагал, когда предложить помощьДАННЫЕ РАЗРАБОТЧИКА

В бенчмарке StreamVibe Gemini 2.5 Flash предлагал, когда вмешаться, и что сказать; каждое примечание требовало единогласного одобрения четырёх человек.

БЕНЧМАРКИ · Использовался в бенчмарке StreamVibeДАННЫЕ РАЗРАБОТЧИКА

Gemini 2.5 Flash использовался в оценках на бенчмарке StreamVibe (около 4 100 примеров из примерно 183 часов записей), которые измеряли время и содержание проактивной помощи.

ЧТО ИЗМЕНИЛОСЬ

Сохранённые версии паспорта, без догадок задним числом.

Паспорт обновлён5 фактов
ВОЗМОЖНОСТИ · Предлагал, когда предложить помощь+ В бенчмарке StreamVibe Gemini 2.5 Flash предлагал, когда вмешаться, и что сказать; каждое примечание требовало единогласного одобрения четырёх человек.
БЕНЧМАРКИ · Использовался в бенчмарке StreamVibe+ Gemini 2.5 Flash использовался в оценках на бенчмарке StreamVibe (около 4 100 примеров из примерно 183 часов записей), которые измеряли время и содержание проактивной помощи.
Паспорт создан3 фактов