Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИНВЕСТИЦИИ · CODING · #809

Strands Evals SDK и Amazon Bedrock AgentCore добавляют оценщики, ориентированные на навыки

Strands Evals SDK и Amazon Bedrock AgentCore Evaluations добавили оценщики, ориентированные на навыки: проверку выбора подходящего навыка (Skill Selection Accuracy) и степень следования инструкциям навыка (Skill Instruction Following). В Strands также есть детерминированная проверка SkillInvoked; оценки можно запускать по траекториям Strands или по трассам OpenTelemetry и управлять ими через AgentCore CLI.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Strands Evals SDK и Amazon Bedrock AgentCore Evaluations добавили оценщики, ориентированные на навыки: проверку выбора подходящего навыка (Skill Selection Accuracy) и степень следования инструкциям навыка (Skill Instruction Following).
  2. В Strands также есть детерминированная проверка SkillInvoked; оценки можно запускать по траекториям Strands или по трассам OpenTelemetry и управлять ими через AgentCore CLI.
  3. Эти оценщики позволяют выявлять ошибки выбора навыка и несоблюдения инструкций, которые не видны по итоговому ответу агента, что делает поведение модульных агентов тестируемым и удобным для отладки.

ПОЧЕМУ ЭТО ВАЖНО

Эти оценщики позволяют выявлять ошибки выбора навыка и несоблюдения инструкций, которые не видны по итоговому ответу агента, что делает поведение модульных агентов тестируемым и удобным для отладки.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1
01
AWS MACHINE LEARNING ПЕРВОИСТОЧНИК
Evaluate skill-equipped agents with Strands Evals and Amazon Bedrock AgentCore

General-purpose agents handle a broad range of tasks, but you still need them to follow the procedures that run your business: compliance checks, document-processing workflows, escalation policies, engineering conventions. Encoding all of that in one system prompt or in application logic gets hard to maintain and update. Skills are a modular alternative. A skill is a reusable set of instructions, usually stored in a …

↗