Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #9422

Transformer

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

4

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Моделирование динамики рассуждений LLM c помощью структур T/E/S (arXiv:2611.23749v1)

В статье на arXiv предложена схема T/E/S (текст, локальные события, интервалы активности) для представления временной структуры рассуждений LLM. На задачах рассуждения и поиска информации добавление событий и интервалов улучшает прогнозирование следующего результата в 70 из 76 групп для Transformer и в 74 из 76 для Qwen с LoRA; длительность интервала и предшествующие события связаны с переходами, а сохранение истории событий через границы интервалов улучшает предсказание. Авторы формализуют задачи распределения бюджета и условного продолжения, доказывают сложность подсчёта при явных кодировках, выводят условия для сертификации решений и показывают, что в конечных процессах границы, аннулирующие общую массу продолжений, восстанавливают оптимальные действия при снижении среднего CPU-времени вывода на 77.7%. Компактный структурный наблюдатель уменьшает Brier loss с 0.0836 до 0.0756 на 71 отложенном вопросе из HotpotQA и MuSiQue, однако аудит аннотаций выявил значительные ошибки в наблюдателе, что отделяет вычислительные результаты от семантической валидации его признаков.

6.0

MODELS · 1 ИСТОЧН. · Apple Machine Learning Research

Attention to Mamba: двухэтапный рецепт, превращающий Transformer Pythia-1B в Mamba SSM

Авторы предложили двухэтапную методику перекрестной дистилляции: сначала Transformer дистиллируют в модель с линеаризованным вниманием (с адаптацией через kernel trick), затем — в Mamba-подобную SSM без Attention. Полученная Mamba почти достигает качества учителя Pythia-1B (перплексия 14.01 против 13.86), сопровождается абляциями, анализом масштабирования и законом масштабирования дистилляции для оптимального распределения вычислений.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Статья на arXiv вводит бенчмарк «скорость когерентного мышления» и архитектуру Co^4 для надёжности при ускоренных изменениях реальности

В статье сформулирован модель-агностичный вызов: насколько быстро может меняться реальность, прежде чем система перестанет надежно действовать, введён показатель «скорость когерентного мышления» (S_C^{eff}) по отношению к «скорости реальности» (S_R). В качестве демонстрации агенты обучения с подкреплением, обученные при базовом S_R, без дообучения испытывались при увеличении S_R до 50× при фиксированных вычислениях; архитектура Co^4, вдохновлённая клеточными механизмами, показала существенно более высокий S_C^{eff} по сравнению с Transformer и gated-MLP, что обосновывает S_C^{eff} как новый бенчмарк и идею масштабирования когерентного мышления.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

T-RoPE: временно-чувствительное вращательное позиционное кодирование для рекомендательных систем

В статье arXiv:2609.30576v1 предложен T-RoPE — временно-чувствительное расширение Rotary Position Embedding (RoPE) для Transformer-рекомендателей, заменяющее индексо-ориентированные вращения на углы по временным меткам, обучаемые временные коэффициенты, мультишкальные частотные банки, сдвиг выравнивания запросов и нестандартную ротацию ключей. Авторы доказывают, что стандартный RoPE инвариантен к сдвигу во времени, показывают лучшие результаты на пяти бенчмарках (например, +78–130% HR@10 на PixelRec; +8–12% на Amazon Books), значительные улучшения на промышленном датасете с >6B взаимодействий (+13–82%) и небольшие положительные онлайн-показатели в приложении Shop (+0.33% конверсии, +0.63% заказов); также описаны практичные алгоритмы с линейной дополнительной стоимостью.

8.0