ИССЛЕДОВАНИЕ · RESEARCH · #602
QVAC Genesis III: синтетический STEM-корпус на 191.43B токенов для эффективного предобучения языковых моделей
В препринте на arXiv представлен QVAC Genesis III — синтетический STEM-корпус объёмом 191.43B токенов, охватывающий 19 доменов и разные уровни сложности/стили обучения; корпус сгенерирован через двойную стратегию distillation, где слабая edge‑scale student‑модель даёт сигнал для исправляющих объяснений и контрастного анализа вариантов ответов, а также предложен протокол оценки «LLM‑as‑a‑parser». Контролируемые обучения с нуля 1.7B‑параметрных моделей показывают стабильные преимущества над Cosmopedia-v2 и Cosmo-1B по ARC, GPQA Diamond и MMLU STEM (до +28.57% по ARC‑E и до +21.35% по ARC‑C) и достигают Valid Answer Rate до 99.45%.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В препринте на arXiv представлен QVAC Genesis III — синтетический STEM-корпус объёмом 191.43B токенов, охватывающий 19 доменов и разные уровни сложности/стили обучения; корпус сгенерирован через двойную стратегию distillation, где слабая edge‑scale student‑модель даёт сигнал для исправляющих объяснений и контрастного анализа вариантов ответов, а также предложен протокол оценки «LLM‑as‑a‑parser».
- Контролируемые обучения с нуля 1.7B‑параметрных моделей показывают стабильные преимущества над Cosmopedia-v2 и Cosmo-1B по ARC, GPQA Diamond и MMLU STEM (до +28.57% по ARC‑E и до +21.35% по ARC‑C) и достигают Valid Answer Rate до 99.45%.
- Большой синтетический STEM‑корпус, ориентированный на эффективное обучение малых/edge‑моделей, может существенно повысить качество образовательных и локально работающих языковых моделей и расширить открытые альтернативы приватным корпусам.
ПОЧЕМУ ЭТО ВАЖНО
Большой синтетический STEM‑корпус, ориентированный на эффективное обучение малых/edge‑моделей, может существенно повысить качество образовательных и локально работающих языковых моделей и расширить открытые альтернативы приватным корпусам.