Бенчмарк RealtimeBench и метод TORSI оценивают LLM‑агентов при «живых» часах
В статье arXiv:2610.20665v1 представлен RealtimeBench (180 задач в шести типах игр) для оценки LLM‑агентов при продолжающемся ходе среды и предложен метод TORSI (двухвременной офлайн рекурсивной самоулучшения). Авторы сообщают, что GPT‑6.1‑sol лучше быстрее работающего Jev при приостановленных играх, но уступает при непрерывном ходе; применение TORSI (медленный «учитель» генерирует инструкции для быстрого «ученика», а валидация решает обновления) повышает средний тестовый балл Jev с 13.51 до 24.19 и улучшает результаты трёх других моделей без дополнительного дообучения.