Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #7762

Qwen3-4B

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

8

MODELS · 1 ИСТОЧН. · AWS Machine Learning

Amazon SageMaker добавляет полное дообучение (FFT) в Serverless Model Customization

SageMaker AI Serverless Model Customization теперь поддерживает полное дообучение моделей (FFT), позволяя выполнять дообучение всех параметров (в т.ч. через SFT на Qwen3-4B) без аренды GPU или настройки кластеров. В публикации SageMaker утверждает, что FFT превосходит PEFT-подходы вроде LoRA на больших наборах данных — указывая примерно 90,0% по LLM-as-Judge для задач с кодом при >100k примеров — и приводит эксперименты и рекомендации по настройке.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Статья Multi-Future Drafting (MFD) предлагает смесь блоковых драфтеров для устранения «химер» и ускорения древовидной верификации спекулятивной генерации

Препринт на arXiv (arXiv:2611.13017v1) указывает на проблему неправильного распределения вероятности при ранжировании деревом по произведению для блоковых драфтеров (в результате возникают «химеры» — префиксы, составленные из разных будущих продолжений) и предлагает метод Multi-Future Drafting (MFD). MFD использует K обучаемых режимных эмбеддингов, чтобы в одном проходе сгенерировать K согласованных блоков, а смесь DDTree верификатора позволяет без потерь (с K+1 дополнительными векторами) выбрать правильное будущее; на четырёх моделях Qwen (4B–27B) при batch size 1 авторы сообщают ускорение до 7.8× и относительные улучшения 5–8% по сравнению с лучшей однорежимной деревья и 9–16% по сравнению с DARTree на Qwen3-4B/8B.

7.0

RESEARCH · 1 ИСТОЧН. · Hugging Face

VocabX: адаптация токенизатора сократила стоимость вывода на 77% для Qwen3-4B (проверка эссе)

Исследователи/инженеры применили метод VocabX для перестройки токенизатора в системе автоматической проверки эссе на португальском, основанной на Qwen3-4B, сохранив ту же базовую модель, данные и рецепт обучения; они измерили сокращение стоимости вывода на 77% за счёт оптимизации словаря исходя из стоимости генерации токена, а не частоты токенов. Эти данные взяты из статьи, находящейся на рецензировании, и могут измениться до публикации.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

CLEAT: Совместная тренировка контроллера ценности уточнений и политики задачи для интерактивных агентов

Статья (arXiv:2610.12655v1) представляет CLEAT — подход, совместно обучающий контроллер ценности уточнений и политику задачи с использованием парных прогонов для оценки «остаточной ценности запроса» — прироста полезности от уточняющего вопроса. При оценке с Qwen3-4B на четырёх бенчмарках CLEAT достигает наивысшего среднего результата в десяти настройках, с приростом до 13.2 и 6.5 процентных пункта на UserGym Travel и точности суждений об недоопределённости в IN3 соответственно.

6.5

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

On the Clock: Агентам LLM можно обеспечить соблюдение временного бюджета, но они плохо используют дополнительное время

В препринте arXiv:2610.10833v1 («On the Clock») изучается, могут ли небольшие LLM‑агенты (Qwen3.6‑27B и Qwen3‑4B) соблюсти заданный по часам временной бюджет и использовать дополнительное время для улучшения результата. Авторы проверяют механизмы хранилища (harness) с информацией о времени и принудительными дедлайнами, а также бюджет‑чувствительный RL (GRPO) на задачах MLE‑Bench Lite и Zork I (Jericho): передача информации о времени через хранилище улучшает соблюдение бюджета, GRPO достигает почти идеального соблюдения и обобщается на невидимые бюджеты в Zork I, но агенты по‑прежнему не используют дополнительное время для улучшения производительности и нередко повторяют действия или сводят стратегию к краткосрочной.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Новая статья на arXiv представляет бенчмарк GUISE и защиту AXIS от обходов через повествование

Препринт на arXiv (arXiv:2610.11005v1) изучает, как ролевые и повествовательные оболочки обходят отказ моделей по соображениям безопасности в разных языках и регистрах; для Qwen3-1.7B зафиксированы показатели успешной атаки 89,4% (английский), 93,0% (современный китайский) и 95,7% (классический китайский). Авторы публикуют GUISE — кросс-язычный бенчмарк параллельных вредоносных/добросовестных запросов с удержанными типами обёрток — и предлагают защиту AXIS, сочетающую оптимизацию предпочтений, вращающийся объектив для выравнивания представлений вредоносных запросов с направлением отказа и обязательный объектив, которая показывает лучшие комбинированные результаты по безопасности и удобству на Qwen3-1.7B, Qwen3-4B и GLM-4-9B.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Adaptive Reference Guidance (ARG) для продолжения префикса в RL для рассуждений (arXiv:2610.11128v1)

Препринт на arXiv (2610.11128v1) исследует, сколько ссылочного руководства давать при обучении моделей рассуждений через продолжение префикса и выводит в замкнутой форме дивергенцию KL для одиночных продолжений. На основе этого анализа предложена Adaptive Reference Guidance (ARG) — обучаемый селектор префиксов, который формирует корректные траектории в рамках фиксированного бюджета генерации и при применении к GRPO с Qwen3-4B и Qwen3-8B на пяти бенчмарках математических задач показывает наивысший суммарный pass@12 среди оцененных методов при конкурентной средней точности выборки.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Интервенции на уровне активаций показывают, что большая часть указанных шагов логики влияет на ответ в Qwen3-4B

В препринте предложен каузальный тест на уровне активаций: авторы патчат residual stream на токенах, где модель формулирует промежуточные шаги, подставляя активации из контрфактического прогона в синтетических заданиях с 2–6 переходами. Для Qwen3-4B 76,9% ± 2,8% указанных шагов оказываются каузально значимыми на наиболее отзывчивом среднем слое (случайный контроль 11,3%; патч факта из подсказки даёт 83%), тогда как стандартный поведенческий тест даёт 88,2% и переоценивает каузальную верность примерно на 11,4 процентных пункта; у Qwen3-1.7B каузальная верность заметно ниже (54,8%) и падает с глубиной рассуждения (68% при 2 переходах до 30% при 6).

7.0