Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

НОВОСТЬ · CODING · #3427

JioHotstar провела бенчмарк решений для баз знаний AI-агентов по коду

JioHotstar протестировала шесть подходов к базам знаний для AI-агентов по коду — включая файловую базу, Sourcebot, Graphify, CocoIndex Code, Repowise и внутренний RAG-пайплайн — на поднаборах SWE-bench и CodeScaleBench с собственным QA-харнессом и моделью Claude Sonnet. Исследование показало: структурный поиск полезен для конкретных задач, семантический поиск помогает при неоднозначных требованиях, а добавление слоёв извлечения не всегда улучшает выполнение задач или снижает расход токенов; рекомендуют сохранять файловую базу как базовый уровень и подбирать метод по типу задачи.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. JioHotstar протестировала шесть подходов к базам знаний для AI-агентов по коду — включая файловую базу, Sourcebot, Graphify, CocoIndex Code, Repowise и внутренний RAG-пайплайн — на поднаборах SWE-bench и CodeScaleBench с собственным QA-харнессом и моделью Claude Sonnet.
  2. Исследование показало: структурный поиск полезен для конкретных задач, семантический поиск помогает при неоднозначных требованиях, а добавление слоёв извлечения не всегда улучшает выполнение задач или снижает расход токенов; рекомендуют сохранять файловую базу как базовый уровень и подбирать метод по типу задачи.
  3. Результаты помогают разработчикам AI-агентов по коду выбирать метод извлечения под тип задачи и сохранять файловую базу как надёжный базовый уровень.

ПОЧЕМУ ЭТО ВАЖНО

Результаты помогают разработчикам AI-агентов по коду выбирать метод извлечения под тип задачи и сохранять файловую базу как надёжный базовый уровень.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1