ИНВЕСТИЦИИ · CODING · #2241
Инженеры Apple представили масштабируемую независимую от фреймворка инфраструктуру для AI‑агентов на Ray на QCon AI
На QCon AI инженеры Apple Дипак Моханакумар Чандрамоули и Бхумик Тхаккар рассказали о переводе AI‑агентов от локальных прототипов на FastAPI в устойчивые прод‑развёртывания на Kubernetes с помощью Ray, обсуждая топологию RayCluster, хранение состояния, авто‑масштабирование при динамическом трафике, дизайн контрольной плоскости, мульти‑региональные настройки, защитные механизмы и конвейер оценки с LLM в роли судьи; всё это проиллюстрировано примером планировщика путешествий и практическими наблюдениями по наблюдаемости.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- На QCon AI инженеры Apple Дипак Моханакумар Чандрамоули и Бхумик Тхаккар рассказали о переводе AI‑агентов от локальных прототипов на FastAPI в устойчивые прод‑развёртывания на Kubernetes с помощью Ray, обсуждая топологию RayCluster, хранение состояния, авто‑масштабирование при динамическом трафике, дизайн контрольной плоскости, мульти‑региональные настройки, защитные механизмы и конвейер оценки с LLM в роли судьи; всё это проиллюстрировано примером планировщика путешествий и практическими наблюдениями по наблюдаемости.
- Сессия демонстрирует практические архитектурные паттерны для запуска агентных LLM‑нагрузок на Ray и Kubernetes, полезные командам, переходящим от прототипов к устойчивым и наблюдаемым прод‑системам.
- Presentation: Beyond the Prototype: Scaling Framework Agnostic AI Agent Infrastructure with Ray
ПОЧЕМУ ЭТО ВАЖНО
Сессия демонстрирует практические архитектурные паттерны для запуска агентных LLM‑нагрузок на Ray и Kubernetes, полезные командам, переходящим от прототипов к устойчивым и наблюдаемым прод‑системам.