Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #19296

Qwen3

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

3

CODING · 1 ИСТОЧН. · AWS Machine Learning

Обучение Qwen3 на AWS Trainium с помощью torchtitan

Руководство torchtitan показывает три способа обучения Qwen3 на одном AWS Trainium trn2.48xlarge: (1) через backend Transformers v5 (AutoModelForCausalLM) с чтением/записью Hugging Face safetensors; (2) с использованием нативной реализации Qwen3Model в torchtitan через config.model_spec; (3) с добавлением MoE-ядр NKI (Neuron Kernel Interface) из torchtitan-neuron и подключением пользовательских ядер через реестр override. Пост описывает настройку окружения (контейнер Neuron PyTorch или AWS DL AMI), установку torchtitan-neuron, запуск через torchrun, загрузку/сохранение контрольных точек (safetensors) и приводит пример первого шага loss для Qwen3-4B-Instruct-2507 (6.54 из опубликованных весов против 12.43 при случайной инициализации).

5.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Статья на arXiv представляет SPOKE для улучшения стратегической игры компактных покерных агентов

В статье (arXiv:2610.27028v1) предложен метод Strategic Preference Optimization с KL-anchored Equilibrium (SPOKE), объединяющий штрафы по отношению к учителю, анкирование политики, ограничения по риску и структуру объяснений для улучшения стратегического поведения при скрытой информации. При сравнительной оценке с SFT, DPO, GRPO и GSPO на замороженных моделях (SmallThinker, Qwen3, Gemma-3) и трёх запусках политики SmallThinker-4B-A0.6B SPOKE показал меньшую среднюю эксплуатируемость в Kuhn (0.213) и Leduc (1.081) и более высокое top-1 соглашение в шестимакс (0.775), сохранив KL по отношению к учителю на уровне SFT.

5.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Конфигурация ответа определяет, следуют ли модели собственному следу рассуждений или текущим данным

Препринт на arXiv (2610.20805v1) исследует, как сохранённый след рассуждений модели взаимодействует с проверяемыми доказательствами, сравнивая две конфигурации ответа: продолжение собственного мышления модели и отдельный вызов для ответа. На примере gpt-oss, Gemma4 и Qwen3 на наборах HotpotQA и MuSiQue отдельный вызов для ответа повышает следование доказательствам на 29.9–60.6 пунктов по сравнению с продолжением; удаление следа снижает точность в обоих режимах примерно одинаково, но при продолжении модель чаще повторяет устаревший вывод, тогда как отдельный вызов чаще учитывает текущие доказательства. Авторы также показывают, что последняя строка следа приносит основную пользу, «золотые» доказательства помогают больше до записи следа, отвлекающие факторы ослабляют исправление при отдельном вызове, а возобновлённое рассуждение чаще следует текущим доказательствам, поэтому при оценке следов следует указывать и выгоду от следа, и следование доказательствам вместе с конфигурацией ответа.

7.0