ИССЛЕДОВАНИЕ · RESEARCH · #3959
Моделирование динамики рассуждений LLM c помощью структур T/E/S (arXiv:2611.23749v1)
В статье на arXiv предложена схема T/E/S (текст, локальные события, интервалы активности) для представления временной структуры рассуждений LLM. На задачах рассуждения и поиска информации добавление событий и интервалов улучшает прогнозирование следующего результата в 70 из 76 групп для Transformer и в 74 из 76 для Qwen с LoRA; длительность интервала и предшествующие события связаны с переходами, а сохранение истории событий через границы интервалов улучшает предсказание. Авторы формализуют задачи распределения бюджета и условного продолжения, доказывают сложность подсчёта при явных кодировках, выводят условия для сертификации решений и показывают, что в конечных процессах границы, аннулирующие общую массу продолжений, восстанавливают оптимальные действия при снижении среднего CPU-времени вывода на 77.7%. Компактный структурный наблюдатель уменьшает Brier loss с 0.0836 до 0.0756 на 71 отложенном вопросе из HotpotQA и MuSiQue, однако аудит аннотаций выявил значительные ошибки в наблюдателе, что отделяет вычислительные результаты от семантической валидации его признаков.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье на arXiv предложена схема T/E/S (текст, локальные события, интервалы активности) для представления временной структуры рассуждений LLM.
- На задачах рассуждения и поиска информации добавление событий и интервалов улучшает прогнозирование следующего результата в 70 из 76 групп для Transformer и в 74 из 76 для Qwen с LoRA; длительность интервала и предшествующие события связаны с переходами, а сохранение истории событий через границы интервалов улучшает предсказание.
- Авторы формализуют задачи распределения бюджета и условного продолжения, доказывают сложность подсчёта при явных кодировках, выводят условия для сертификации решений и показывают, что в конечных процессах границы, аннулирующие общую массу продолжений, восстанавливают оптимальные действия при снижении среднего CPU-времени вывода на 77.7%.
ПОЧЕМУ ЭТО ВАЖНО
Работа предлагает компактное структурное представление и теоретические/эмпирические результаты, способные улучшить предсказание и CPU‑эффективное управление выводом LLM, но подчёркивает необходимость внимательной семантической валидации признаков наблюдателя.