ИССЛЕДОВАНИЕ · RESEARCH · #2110
Бенчмарк RealtimeBench и метод TORSI оценивают LLM‑агентов при «живых» часах
В статье arXiv:2610.20665v1 представлен RealtimeBench (180 задач в шести типах игр) для оценки LLM‑агентов при продолжающемся ходе среды и предложен метод TORSI (двухвременной офлайн рекурсивной самоулучшения). Авторы сообщают, что GPT‑6.1‑sol лучше быстрее работающего Jev при приостановленных играх, но уступает при непрерывном ходе; применение TORSI (медленный «учитель» генерирует инструкции для быстрого «ученика», а валидация решает обновления) повышает средний тестовый балл Jev с 13.51 до 24.19 и улучшает результаты трёх других моделей без дополнительного дообучения.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье arXiv:2610.20665v1 представлен RealtimeBench (180 задач в шести типах игр) для оценки LLM‑агентов при продолжающемся ходе среды и предложен метод TORSI (двухвременной офлайн рекурсивной самоулучшения).
- Авторы сообщают, что GPT‑6.1‑sol лучше быстрее работающего Jev при приостановленных играх, но уступает при непрерывном ходе; применение TORSI (медленный «учитель» генерирует инструкции для быстрого «ученика», а валидация решает обновления) повышает средний тестовый балл Jev с 13.51 до 24.19 и улучшает результаты трёх других моделей без дополнительного дообучения.
- Реализация RealtimeBench и подход TORSI решают ключевую проблему: агентам нужно балансировать между обдумыванием и быстрой реакцией, чтобы оставаться эффективными в непрерывно меняющихся средах.
ПОЧЕМУ ЭТО ВАЖНО
Реализация RealtimeBench и подход TORSI решают ключевую проблему: агентам нужно балансировать между обдумыванием и быстрой реакцией, чтобы оставаться эффективными в непрерывно меняющихся средах.