Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

ТЕМА · ENTITY #6213

transformers

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

4

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Статья формализует «непрозрачную последовательную глубину» как NLS depth для оценки невысказанных последовательных вычислений

В статье (arXiv:2611.17495v1) введён конкретный показатель — NLS depth — на основе «NL‑rooted» узлов как прокси длины вычислительных путей модели, обходящих интерпретируемые узлы, причём показатель можно оценить по архитектуре, рецепту обучения и конфигурации развёртывания без пост‑тренировочных проверок. Авторы показывают корреляцию NLS depth с числом слоёв у открытых моделей, оценивают, что показатель, вероятно, будет расти медленно при стандартном масштабировании трансформеров, но может значительно вырасти для латентных архитектур рассуждения, приводят пример для Gemma3‑1B и советуют разработчикам отслеживать и публиковать NLS depth.

6.0

RESEARCH · 1 ИСТОЧН. · Apple Machine Learning Research

О важности гейтинга: как гейтинг влияет на запоминание и обучение в контексте в SSM

Авторы теоретически и экспериментально демонстрируют, что гейтинговый механизм в state space models (SSM) часто приводит к решению через «запоминание в весах», задерживает или даже предотвращает сход к корректному обучению в контексте, но при этом иногда улучшает обобщение на более длинные последовательности. Статья анализирует, как гейтинг формирует динамику обучения и способность к обобщению SSM с линейным временем работы.

7.0

RESEARCH · 1 ИСТОЧН. · Hugging Face

StateBench: бенчмарк для отслеживания изменения состояний в длинных документах для LLM

StateBench — новый бенчмарк, оценивающий способность языковых моделей отслеживать изменения состояний сущностей в длинных документах; он включает четыре уровня сложности (r-trivial, aperiodic, soluble, general finite), соответствующие разным типам присвоений переменных. Авторы показывают, что рекуррентные и гибридные архитектуры (например, Gated DeltaNet) обобщают дальше по этим задачам, тогда как передовые модели, включая Gemini 3.8 Flash, Claude Opus 5.5 и GPT-6 Sol/Luna, всё ещё терпят сбои на самых сложных задачах с длинными зависимостями.

7.0

MODELS · 1 ИСТОЧН. · Hugging Face

Transformers добавляет поддержку GGUF (кванты llama.cpp) в main

Библиотека transformers от Hugging Face (ветка main) теперь может загружать и запускать квантизованные контрольные точки в формате GGUF с использованием ядер llama.cpp/ggml, с упором на эффективный локальный вывод (первоначально оптимизировано для Apple Silicon и моделей Qwen3.5). Интеграция также позволяет обслуживать GGUF-чекпоинты через transformers-serve и при отсутствии совместимых ядер откатывается к де-квантизации.

7.0