DoorDash рассказывает об архитектуре и выводах при создании внутренней GenAI-платформы
На QCon AI инженеры DoorDash Сварууп Читлур и Сиддхарт Кодвани рассказали о создании внутренней GenAI-платформы для примерно 5 000 сотрудников: архитектурные решения, переход от поставщиков к открытым моделям, конструкция шлюзов для LLM и агентов, а также компромиссы между точностью, задержкой и стоимостью. Они подчеркнули подход API/SDK в первую очередь, ориентацию на продуктовых инженеров, автоматизацию лучших практик и фокус на бизнес-эффекте вместо простых чат-ботов.