LoRA

2026-10-28

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

LoRA на бюджете — функциональное распределение ранга (FRA) для сжатия флотов адаптеров

Этот препринт на arXiv представляет Functional Rank Allocation (FRA) — постфактумный метод, который строит для каждого адаптера функциональные фронты «ранг–искажение» и решает флотовую минимакс-алокацию для сжатия LoRA-адаптеров при общем ограничении ранга. FRA сочетает измерения отдельных модулей, поисковую суррогатную динамику, сквозную проверку и дополнительное спектральное предложение; при оценке на 78 адаптерах из трёх публичных флотов он улучшает худшие и хвостовые показатели по сравнению с равномерным спектральным сжатием в режимах ограниченного бюджета.

6.0

2026-10-27

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

Exowatt использовала серверную кастомизацию SageMaker для дообучения моделей Qwen3 для edge и облака, опередив frontier-модели

Exowatt создала повторяемый конвейер на Amazon SageMaker AI с серверной кастомизацией моделей для задач триажа тревог на edge (Qwen3-1.7B) и анализа энергорынка в облаке (Qwen3-14B). Дообученные модели превзошли контрольные frontier-модели по точности для этих задач и показали до 49× меньшую стоимость, обеспечив путь от операционных данных до развертываемых артефактов за дни вместо месяцев.

6.0

2026-10-23

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Набор данных ClariEdge и лёгкий LoRA улучшают уточнение запросов в RAG

Статья (arXiv:2610.28686v1) представляет ClariEdge — набор данных примерно из 3,900 примеров неоднозначных и не-неоднозначных диалоговых запросов для RAG. Лёгкая доработка через LoRA достигает 96.6% точности в классификации и превосходит промптированные большие модели по обнаружению неоднозначности и качеству вопросов для уточнения; набор данных опубликован на Hugging Face (ibm-research/ClariEdge).

6.0

2026-10-23

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

GRAM: групповой ранживо-ориентированный слив моделей (arXiv:2610.29110v1)

В статье предложен GRAM — метод, который группирует геометрически совместимые обновления задач по принципу углов между подпространствами и затем выполняет SVD-слияние внутри каждой группы, опираясь только на дообученные веса. GRAM снижает так называемое «взаимное подавление подпространств» и превосходит предыдущие методы слияния на GLUE с Flan-T5, наборе из 8 задач для CLIP и мединструкционной версии Qwen2-7B-Instruct с LoRA.

6.0

2026-10-22

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

AWS запускает SageMaker AI serverless «Training Sessions» (GA) для настройки моделей

Amazon объявила о выводе в общую доступность Training Sessions для SageMaker AI serverless model customization — это позволяет запускать собственные посттренировочные циклы (SFT, DPO, RLAIF, многошаговый RL, LoRA или полная донастройка) без управления GPU: SageMaker управляет выделением GPU, распределённым выполнением, чекпоинтами и восстановлением ошибок, а также предоставляет cookbook и агентные навыки. Клиенты отмечают применение в задачах вроде триажа отказов по страховым претензиям и многошаговой тренировки агентов с использованием Amazon Neptune и gpt-oss-20b.

7.0

2026-10-22

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

Amazon SageMaker AI добавляет API training session для запуска пользовательских циклов обучения на управляемых GPU

Amazon выпустила API training session в SageMaker, позволяющие разработчикам писать пользовательские циклы обучения (SFT, RL, оптимизация предпочтений и др.), при этом SageMaker управляет вычислениями на GPU, распределением, чекпоинтами и восстановлением. Функция включает три клиента в SageMaker Python SDK, OpenAI-совместимый endpoint для выборки и опубликованный набор рецептов (cookbook) с примерами на GSM8K и с использованием LoRA.

7.0

2026-10-21

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

TxnQA: бенчмарк для аналитического рассуждения и проверки доказательств по последовательностям транзакций (arXiv:2610.27256v1)

TxnQA — новый QA-бенчмарк (arXiv:2610.27256v1) для аналитического рассуждения и привязки доказательств по синтетическим, конфиденциально-минимизированным последовательностям транзакций. Включает 27 семейств задач (81 шаблон), 5 сценариев оценки риска мошенничества; использует метрики форматного соответствия (FFR), условной точности содержания (CA) и полной корректности (E2E); показывает, что LoRA-адаптация улучшает соблюдение схем вывода, но остаются проблемы с арифметикой и атрибуцией доказательств — например, Gemma-4-31B-IT и Qwen3-8B имеют E2E 0.867 и 0.816, MoE-чекпоинты 0.632–0.713, а на 500 примерах мошенничества точность вердикта часто >80%, тогда как совместная точность (вердикт + точное доказательство) падает примерно до 23%.

7.0

2026-10-20

MODELS · 1 ИСТОЧН. · AWS Machine Learning

GPT-OSS-20B дообучили для многоязычного рассуждения на Amazon SageMaker HyperPod

Команда дообучила модель GPT-OSS-20B на многоязычном датасете цепочек рассуждений (HuggingFaceH4/Multilingual-Thinking) с использованием SFT и GRPO на Amazon SageMaker HyperPod (EKS, LoRA, TRL/veRL, vLLM, Ray/KubeRay, Amazon FSx for Lustre). Итог: базовая модель почти всегда генерировала цепочки рассуждений на английском; SFT устраняет большую часть разрыва в поведении по языку, а GRPO даёт добавочный эффект лишь когда желаемое поведение уже встречается с ненулевой вероятностью.

6.0

2026-10-16

MODELS · 1 ИСТОЧН. · InfoQ AI, ML & Data Engineering

AWS открыла исходники Strands Decider 2B и представила песочницу Strands Box для выполнения агентов

AWS выпустила Strands Decider 2B — модель для принятия решений с 2 миллиардами параметров (основана на Qwen3.5-2B с указательным заголовком и LoRA rank-16) и опубликовала веса, данные и скрипты. Также представлен Strands Box (developer preview) — ядровая песочница с языком политик Dogwood для контроля выполнения агентов (shell, Python, инструменты, файловая система, сеть); по данным AWS, медианная задержка принятия решения ≈115 мс на RTX 3090 и 72,3% точности на JevBench для контрольной точки v19.

7.0

2026-10-16

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Файн-тюнинг Qwen2.5-3B (LoRA) для отзыва действий в синтетической NAQD-Env

В этой версии на arXiv авторы изучают супервизированный файн-тюнинг (LoRA) Qwen2.5-3B-Instruct в среде NAQD-Env для селективного отзыва действий (при утрате поддержки). SFT-чекпоинты повышают согласие решений (0.77–0.92) и полноту отзыва (0.46–0.86) по сравнению с базовыми моделями (согласие 0.45–0.63, полнота отзыва ≤0.06), но демонстрируют специфичные по правилу ошибки (например, чекпоинт с оригинальной программой неправильно отозвал 26 из 34 действий) и другие ограничения; вклад — метод обнаружения таких регрессий, а не доказательство безопасности от одного лишь файн-тюнинга.

6.0

2026-10-15

MODELS · 2 ИСТОЧН. · Hugging Face · The Decoder

Black Forest Labs выпустила FLUX.3 Image Klein с управлением композицией через bounding-box в Diffusers

Black Forest Labs разместила FLUX.3 Image Klein на Hugging Face и предоставляет открытые чекпойнты, совместимые с Hugging Face Diffusers. Модель выполняет текст‑в‑изображение и мульти‑референс image‑to‑image, добавляет управление композицией через bounding‑box для размещения областей и правок, включает дистиллированный чекпойнт (1024×1024 ≈2 с на H100, по умолчанию 16 шагов), квантизованные весовые файлы (bf16, fp8r, nvfp4) и скрипты для обучения LoRA/DreamBooth.

8.0

2026-10-09

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Harness Compilation (arXiv:2610.11231v1): распределение решений между замороженной небольшой VLM и внешним гарнитуром

В препринте на arXiv предложен метод Harness Compilation (HC) — офлайн-процедура, при которой крупный «teacher» перерабатывает повторно используемый контент и управление по следам выполнения студента для создания внешнего гарнитура для замороженной небольшой визуально-языковой модели; для развёртывания не требуются обновления весов или вызовы teacher. На семи задачах VQA с учащимися до 9B параметров HC, как сообщается, повышает результаты по сравнению с «голыми» студентами на 9.9–23.9 пункта (в среднем по трём сборкам на задачу), исследует пять типов рантайм-решений, выявляет, что запрос внешних доказательств и генерация открытых запросов дорогостоящи, тогда как ограниченные выборы и чтение текста полезны, и показывает, что «fact cards» помогают всем студентам, HC с 100 тренировочными примерами превосходит answer-only LoRA на трёх задачах, а перенос политик и повторная компиляция дают смешанные результаты.

7.0

2026-10-05

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

THPL: От зрения к языку — система принятия решений по кормлению радужной форели в RAS

В препринте (arXiv:2610.02378v1) предложена THPL — система перевода визуальных данных в решения по кормлению радужной форели в системах рециркуляции воды (RAS). Метод извлекает траектории через Fishsort для расчёта коэффициента активности (AC), кодирует временное и групповое поведение с помощью иерархического кодировщика поведения (Temporal и Set Transformers) в два типа токенов (физические и «мягкие»), затем дообучает LLM с LoRA и контрафактуальным мультимодальным DPO; авторы сообщают сильную корреляцию AC с экспертной оценкой (Spearman ρ = 0.925, p < 0.001) и повышение точности решений с 33.33% (только текст) до 93.33% с двойными токенами и до 96.67% после mDPO, а также улучшения METEOR и метрик разнообразия.

6.0

2026-10-04

MODELS · 1 ИСТОЧН. · The Decoder

NASA и IBM выпустили открытую модель Lunar Foundation Model, обученную на 17 годах данных LRO

NASA и IBM Research совместно с академическими партнёрами опубликовали открытую модель NASA–IBM Lunar Foundation Model — мультимодальную foundation-модель, обученную с нуля на SomBench (почти 2 млн тайлов, 11 модальностей), включающую 17 лет данных LRO и данные других миссий. Предобученная модель улучшает задачи предсказания полярного льда (до ~22% снижения ошибки) и обнаружения кратеров в крупном масштабе (~19% по сравнению с SwinV2-B) и позволяет адаптировать лунные наблюдения к прикладным задачам при ограниченных разметках.

8.0

2026-09-30

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

DASA: синтетические непрерывные эмбеддинги для эффективного дообучения LLM (arXiv:2609.35868v1)

В статье предложена Desired-Update-Aligned Synthetic Data (DASA) — оптимизация непрерывных синтетических эмбеддингов с помощью активационно‑градиентной обратной связи от зафиксированной референтной модели, которые затем используются напрямую для дообучения. Эксперименты на шести моделях Llama и Qwen (1B–32B) по шести бенчмаркам показывают, что DASA в ряде конфигураций сравнима или превосходит дообучение на естественном языке, чаще лучше GRADMM и обеспечивает ускорение генерации в 3.6–4.9× при сопоставимом пиковом использовании GPU.

7.0

2026-09-25

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

Запуск пост‑обучения SkyRL (GRPO) для Qwen3‑VL‑8B на Amazon SageMaker HyperPod

Amazon показала запуск открытой библиотеки SkyRL на SageMaker HyperPod (EKS) для пост‑обучения визуально‑языковой модели Qwen3‑VL‑8B методом Group Relative Policy Optimization (GRPO). На HyperPod Ray‑кластере с общим хранилищем FSx решение повысило процент решения лабиринтов с 43,75% до более чем 95% на фиксированном наборе из 64 лабиринтов, сочетая vLLM‑инференс и FSDP‑шардинг политики с LoRA‑адаптерами.

6.0

2026-09-25

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

TW3Cast: «замороженный» маршрутизатор лёгко дообученных фундаментальных моделей занял 3‑е место на GIFT‑Eval; артефакты опубликованы

TW3Cast — система прогнозирования временных рядов, занявшая 3‑е место из 130 на бенчмарке GIFT‑Eval по среднему MASE по состоянию на 2026‑09‑14. Система не использует агентов или языковые модели: один раз вычисленная на тренировочном срезе и затем «замороженная» таблица маршрутизации выбирает для каждой конфигурации одну из четырёх опций — специалисты (LoRA или полная дообучка Chronos‑2, TiRex или Toto), квантильный бленд, бленд базовых моделей или турнир отбора на бэктесте — при этом все решения принимались на бэктесте тренировочного среза. Три механизмa защиты ограничивают смещения отбора. Отчётные средние ранги по MASE: лучший базовый модель 33.8, турнир 38.0, полный роутер 19.4. В работе (arXiv:2609.28506v1) опубликованы таблица, индекс экспертов, зафиксированные ревизии базовых моделей, файл с результатами и снимок публичных оценок с скриптом для воспроизведения чисел.

7.0

2026-09-21

MODELS · 1 ИСТОЧН. · arXiv cs.AI

Адаптация DINOv3 ViT с помощью LoRA значительно улучшает распознавание целей в SAS; дальнейшие доработки не дают эффекта

В работе DINOv3 Vision Transformer адаптируют для подводного синтетического апертурного сонара (SAS) в задачах автоматического распознавания целей с помощью трёхступенчатой параметр-эффективной схемы: этап 1 — LoRA с замороженным бэконмом, этап 2 — hard-negative mining, этап 3 — Supervised Contrastive Learning (SupCon). На реальных морских данных с географическим разбиением миссий и сравнением при 85% recall (трёх повторов) LoRA (ранг 4) повысил AUPRC с 0.300 до 0.679 ± 0.027, обучая лишь 0.26% весов; этапы hard-negative и SupCon не дали заметного преимущества по сравнению с контрольными процедурами.

6.0

2026-09-18

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

Amazon SageMaker запускает HyperPod Inference Gateway для маршрутизации LLM с учётом GPU

Amazon представила HyperPod Inference Gateway для SageMaker — Kubernetes-нативный аддон для EKS, который использует реальные показатели GPU (использование KV-кэша, глубина очереди, наличие LoRA и т.д.) для маршрутизации OpenAI-совместимых запросов, снижая задержку первого токена и простои GPU без изменений в приложениях. Система имеет двухуровневую архитектуру с локальным интеллектуальным роутингом и координацией между кластерами и интегрируется через единый ресурс InferenceGatewayConfig с метриками в Prometheus/CloudWatch.

7.0

2026-09-17

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Донастройка Stable Diffusion XL и LLaMA для управляемой генерации мотивов Ulos

В статье arXiv:2609.17987v1 предложена мультимодальная генеративная система: Stable Diffusion XL v1.0 донастроен через LoRA и интегрирован с мультимодальной LLaMA 1.5-7B для генерации аутентичных мотивов Ulos. Используются четыре механизма кондиционирования (текст, изображение, представление, семантическая карта/ControlNet); абляция по трём сценариям показала, что Text+Image+Semantic Map дал лучший FID (270) и CLIP (0.65–0.70) но худший SSIM (0.65), Text+Image+Representation обеспечил лучшее общее соотношение (SSIM 0.84, FID 280), а сочетание всех четырёх ухудшило FID до 330; качественная оценка (9 ткачей и 30 участников общественности) показала статистически значимое положительное принятие (Wilcoxon p=0.007 и p<0.001), также разработан веб-прототип.

5.0