JioHotstar провела бенчмарк решений для баз знаний AI-агентов по коду
JioHotstar протестировала шесть подходов к базам знаний для AI-агентов по коду — включая файловую базу, Sourcebot, Graphify, CocoIndex Code, Repowise и внутренний RAG-пайплайн — на поднаборах SWE-bench и CodeScaleBench с собственным QA-харнессом и моделью Claude Sonnet. Исследование показало: структурный поиск полезен для конкретных задач, семантический поиск помогает при неоднозначных требованиях, а добавление слоёв извлечения не всегда улучшает выполнение задач или снижает расход токенов; рекомендуют сохранять файловую базу как базовый уровень и подбирать метод по типу задачи.