ИССЛЕДОВАНИЕ · RESEARCH · #2107
AlphaDiana: система измерения для агентов в задачах проверяемого рассуждения (arXiv:2610.20675v1)
AlphaDiana — модульная система измерений, связывающая трассы выполнения агента, учёт ресурсов и корректность ответов при сохранении нативных циклов управления хелнессов. Статья (arXiv:2610.20675v1) показывает макроанализы и микроинтервенции для трёх открытых моделей и трёх открытых хелнессов на пяти задачах с ответами (и на двух интерактивных задачах для двух моделей) и приходит к выводу, что хелнессы и вмешательства в компоненты (инструменты, инструкции-скиллы, сохранённая память) не дают стабильного улучшения точности, а метрики выполнения и токенов требуют оценки вместе с корректностью.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- AlphaDiana — модульная система измерений, связывающая трассы выполнения агента, учёт ресурсов и корректность ответов при сохранении нативных циклов управления хелнессов.
- Статья (arXiv:2610.20675v1) показывает макроанализы и микроинтервенции для трёх открытых моделей и трёх открытых хелнессов на пяти задачах с ответами (и на двух интерактивных задачах для двух моделей) и приходит к выводу, что хелнессы и вмешательства в компоненты (инструменты, инструкции-скиллы, сохранённая память) не дают стабильного улучшения точности, а метрики выполнения и токенов требуют оценки вместе с корректностью.
- Предоставляет контролируемую систему с привязкой к трассам и ресурсам для сравнения агентов, диагностики ошибок и оценки реальной пользы хелнессов и компонентов.
ПОЧЕМУ ЭТО ВАЖНО
Предоставляет контролируемую систему с привязкой к трассам и ресурсам для сравнения агентов, диагностики ошибок и оценки реальной пользы хелнессов и компонентов.