Amazon Bedrock AgentCore: три стратегии для снижения токен‑расходов и задержки при больших JSON‑нагрузках агентов
Amazon описывает три составных стратегии, применённые в production‑агенте Flightscape (Training Schedule Optimization) на Amazon Bedrock AgentCore, чтобы не передавать многоМб JSON‑данные напрямую в контекст LLM. Используя гидрацию/дегидрацию состояния в AgentCore memory и S3, сохранение больших результатов инструментов в S3 с компактными ссылками и постраничной выборкой (get_result_page_tool) и суммаризацию больших артефактов, они добились сокращения потребления токенов до 71% и уменьшения средней задержки до 80% на тестовом payload 23 МБ; сопроводительный код размещён на GitHub.