ИССЛЕДОВАНИЕ · RESEARCH · #2021
Harness^2: двухуровневая рекурсивная система для эволюции харднесов LLM-агентов
Harness^2 — это «plug-and-play» рекурсивная система для харднесинга агентов: двухуровневая схема использует рекурсию на уровне задач (контрастный Propose‑Probe‑Compose для редактирования харднеса без эталонных проверяющих) и рекурсию на уровне харднесинга для накопления опыта и обновления непрерывного механизма улучшения. На трёх профессиональных бенчмарках и в четырёх конфигурациях модели+харднес единичные шаги улучшения повысили показатели GLM-5 и Gemini 3.5 Flash — до 11.5 пунктов на WorkBuddy-Bench, 4.5 на JobBench и 11.8 процентных пункта на LAB.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Harness^2 — это «plug-and-play» рекурсивная система для харднесинга агентов: двухуровневая схема использует рекурсию на уровне задач (контрастный Propose‑Probe‑Compose для редактирования харднеса без эталонных проверяющих) и рекурсию на уровне харднесинга для накопления опыта и обновления непрерывного механизма улучшения.
- На трёх профессиональных бенчмарках и в четырёх конфигурациях модели+харднес единичные шаги улучшения повысили показатели GLM-5 и Gemini 3.5 Flash — до 11.5 пунктов на WorkBuddy-Bench, 4.5 на JobBench и 11.8 процентных пункта на LAB.
- Работа предлагает практический и более обобщаемый способ автоматически улучшать харднесы LLM-агентов для незнакомых задач, снижая зависимость от специфичных для задач проверяющих и обеспечивая непрерывную адаптацию.
ПОЧЕМУ ЭТО ВАЖНО
Работа предлагает практический и более обобщаемый способ автоматически улучшать харднесы LLM-агентов для незнакомых задач, снижая зависимость от специфичных для задач проверяющих и обеспечивая непрерывную адаптацию.