НОВОСТЬ · CODING · #3427
JioHotstar провела бенчмарк решений для баз знаний AI-агентов по коду
JioHotstar протестировала шесть подходов к базам знаний для AI-агентов по коду — включая файловую базу, Sourcebot, Graphify, CocoIndex Code, Repowise и внутренний RAG-пайплайн — на поднаборах SWE-bench и CodeScaleBench с собственным QA-харнессом и моделью Claude Sonnet. Исследование показало: структурный поиск полезен для конкретных задач, семантический поиск помогает при неоднозначных требованиях, а добавление слоёв извлечения не всегда улучшает выполнение задач или снижает расход токенов; рекомендуют сохранять файловую базу как базовый уровень и подбирать метод по типу задачи.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- JioHotstar протестировала шесть подходов к базам знаний для AI-агентов по коду — включая файловую базу, Sourcebot, Graphify, CocoIndex Code, Repowise и внутренний RAG-пайплайн — на поднаборах SWE-bench и CodeScaleBench с собственным QA-харнессом и моделью Claude Sonnet.
- Исследование показало: структурный поиск полезен для конкретных задач, семантический поиск помогает при неоднозначных требованиях, а добавление слоёв извлечения не всегда улучшает выполнение задач или снижает расход токенов; рекомендуют сохранять файловую базу как базовый уровень и подбирать метод по типу задачи.
- Результаты помогают разработчикам AI-агентов по коду выбирать метод извлечения под тип задачи и сохранять файловую базу как надёжный базовый уровень.
ПОЧЕМУ ЭТО ВАЖНО
Результаты помогают разработчикам AI-агентов по коду выбирать метод извлечения под тип задачи и сохранять файловую базу как надёжный базовый уровень.