QVAC Genesis III: синтетический STEM-корпус на 191.43B токенов для эффективного предобучения языковых моделей
В препринте на arXiv представлен QVAC Genesis III — синтетический STEM-корпус объёмом 191.43B токенов, охватывающий 19 доменов и разные уровни сложности/стили обучения; корпус сгенерирован через двойную стратегию distillation, где слабая edge‑scale student‑модель даёт сигнал для исправляющих объяснений и контрастного анализа вариантов ответов, а также предложен протокол оценки «LLM‑as‑a‑parser». Контролируемые обучения с нуля 1.7B‑параметрных моделей показывают стабильные преимущества над Cosmopedia-v2 и Cosmo-1B по ARC, GPQA Diamond и MMLU STEM (до +28.57% по ARC‑E и до +21.35% по ARC‑C) и достигают Valid Answer Rate до 99.45%.