DASA: синтетические непрерывные эмбеддинги для эффективного дообучения LLM (arXiv:2609.35868v1)
В статье предложена Desired-Update-Aligned Synthetic Data (DASA) — оптимизация непрерывных синтетических эмбеддингов с помощью активационно‑градиентной обратной связи от зафиксированной референтной модели, которые затем используются напрямую для дообучения. Эксперименты на шести моделях Llama и Qwen (1B–32B) по шести бенчмаркам показывают, что DASA в ряде конфигураций сравнима или превосходит дообучение на естественном языке, чаще лучше GRADMM и обеспечивает ускорение генерации в 3.6–4.9× при сопоставимом пиковом использовании GPU.