Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #5668

Qwen3.5-0.8B

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

6

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Модель System 1 на «замороженных» LLM достигает 46% на MedMCQA (arXiv:2611.23832v1)

Авторы восстановили модель принятия решений System 1 для задач с несколькими вариантами ответа, использовав «замороженные» языковые модели (Qwen3.5-0.8B, Granite-4.2-3B, Qwen3-8B) и обучив только два небольших проекционных слоя и температуру с контрастной функцией потерь; с Qwen3-8B модель показывает 46,0% на 3 842 отложенных вопросах MedMCQA (случай 25%), в более простых настройках — около 33%. Приведены аблации (перемешивание вопросов, чтение слоёв и т.п.), указано, что прирост на валидации превышал тестовый, и подчёркнуто, что это недорогая базовая линия, а не конкурентная медицинская система по сравнению с Flan-PaLM и Med-PaLM 2 при иных протоколах оценки.

5.0

MODELS · 1 ИСТОЧН. · Hugging Face

Tether AI Research выпустила BotPsy 0.8B — персонального помощника для локального запуска

Tether AI Research представила BotPsy — языковую модель на 0,8 млрд параметров, основанную на Qwen3.5-0.8B, ориентированную на вызов функций и агентные рабочие процессы для локального запуска. По заявлению разработчиков, BotPsy показывает лучшие в классе результаты по использованию инструментов и многошаговым задачам среди моделей ≤1,2 млрд параметров (BFCL v4, ACEBench, τ-bench), улучшает следование инструкциям и снижает частоту небезопасных ответов в автоматическом тестировании; модель предназначена для задач низкой и средней сложности и не годится для критичных сценариев.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Отпечаток в эмбеддинговом пространстве позволяет восстановить домен донастройки LoRA

Авторы (arXiv:2611.07610v1) проверяют, можно ли восстановить домен донастройки LoRA, имея только артефакт модели. На базе Qwen3.5-0.8B они получили 36 донастроек LoRA по 18 публичным датасетам в пяти доменах и по предзарегистрированному LODO‑протоколу извлекли три типа признаков (дельты весов, внутренние активации и выводы); классификатор определяет домен значительно лучше случайного угадывания по серым‑ящичным активациям (61%) и по черным‑ящичным выводам (64%), тогда как статистики дельт весов дают 42%, и результат по черному ящику сохраняется при использовании только сгенерированного текста.

7.0

RESEARCH · 1 ИСТОЧН. · The Decoder

Исследователи MIT показали, что GPT-6 Astra от OpenAI может читать и менять веса других моделей

Исследователи MIT сообщают, что GPT-6 Astra от OpenAI может анализировать сырые веса нейросетей и целенаправленно изменять их — подход, который они называют «программированием в пространстве весов». В экспериментах Astra определяла задачи, которые выучили модели, генерировала веса для игры (в Breakout — 517 против 25 у базовой обученной модели) и значительно повысила точность Qwen3.5-0.8B по MATH-500 с 7.9% до 48.1%, изменив лишь 0.016% весов, при этом авторы отмечают ограничения и ошибки метода.

8.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Статья демонстрирует работу RLVR (с GRPO) на Qwen3.5-0.8B без дистилляции

Препринт на arXiv применяет Reinforcement Learning with Verifiable Rewards (RLVR) с Group Relative Policy Optimization (GRPO) и инструментом поиска в Wikipedia для тренировки Qwen3.5-0.8B на MuSiQue и наборе из семи QA-бенчмарков. Лучший запуск показал 0.352 в среднем по exact-match (против 0.092 у нетренированной модели), рост в 3.8× без дистилляции; авторы отмечают, что форма вознаграждения важна — разреженное exact-match-вознаграждение оказывается худшим для этой шкалы модели.

6.0

MODELS · 1 ИСТОЧН. · arXiv cs.AI

TinyCeNN-LM: рамка качественно-гейтированной конверсии для замены внимания на слои, вдохновлённые CeNN

В препринте arXiv:2609.21139v1 представлен TinyCeNN-LM — рамка посттренировочной конверсии с качественным контролем, заменяющая слои внимания на клеточно-рекуррентные модули, вдохновлённые CeNN, с ограниченной локальной обработкой, компактной рекуррентной памятью, маршрутизацией/слиянием и валидацией «принять-или-откатить». Авторы изучают три реализации (Integrated Memory, MemoryFusion, PDelta3-GDN2-CLVR+Local32): на SmolLM2-135M слои 0–2 приняты с суммарным ΔNLL=+0.01209, слой 3 отвергнут из-за плохой сохранности представлений; на Qwen3.5-0.8B слои 3, 7 и 11 приняты с итоговым ΔNLL=+0.02073; Integrated Memory держит перплексию в пределах −0.07%…+0.93% и сокращает общий кэш до 6.01%, контроль из 200 задач на преобразованных релизах Qwen показал 28.5%–32.0% точности.

6.0