НОВОСТЬ · CODING · #3782
Amazon Bedrock AgentCore: три стратегии для снижения токен‑расходов и задержки при больших JSON‑нагрузках агентов
Amazon описывает три составных стратегии, применённые в production‑агенте Flightscape (Training Schedule Optimization) на Amazon Bedrock AgentCore, чтобы не передавать многоМб JSON‑данные напрямую в контекст LLM. Используя гидрацию/дегидрацию состояния в AgentCore memory и S3, сохранение больших результатов инструментов в S3 с компактными ссылками и постраничной выборкой (get_result_page_tool) и суммаризацию больших артефактов, они добились сокращения потребления токенов до 71% и уменьшения средней задержки до 80% на тестовом payload 23 МБ; сопроводительный код размещён на GitHub.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Amazon описывает три составных стратегии, применённые в production‑агенте Flightscape (Training Schedule Optimization) на Amazon Bedrock AgentCore, чтобы не передавать многоМб JSON‑данные напрямую в контекст LLM.
- Используя гидрацию/дегидрацию состояния в AgentCore memory и S3, сохранение больших результатов инструментов в S3 с компактными ссылками и постраничной выборкой (get_result_page_tool) и суммаризацию больших артефактов, они добились сокращения потребления токенов до 71% и уменьшения средней задержки до 80% на тестовом payload 23 МБ; сопроводительный код размещён на GitHub.
- Эти практические приёмы показывают, как масштабировать агентные LLM‑системы с многомегабайтными структурами данных, существенно снижая затраты на токены и задержку — ключевой барьер для продакшена агентов.
ПОЧЕМУ ЭТО ВАЖНО
Эти практические приёмы показывают, как масштабировать агентные LLM‑системы с многомегабайтными структурами данных, существенно снижая затраты на токены и задержку — ключевой барьер для продакшена агентов.